人臉識別系列一 | 特徵臉法
- 2019 年 12 月 9 日
- 筆記
前言
從這裡開始，我會不定期的更新一些人臉識別的有趣演算法和小demo演算法，源碼也會開放出來，自己在學習的過程中希望也能幫助到公眾號中對這方面感興趣的小夥伴，無論是從源碼角度，還是從原理角度，我說清楚了，對在看的你有幫助就是我最大的幸福。
人臉識別的需要的數據集可以自己製作，也可以從網上免費下載。我這裡選了人臉識別中入門級別的一個數據集ORL人臉庫，不得不說，我是在CSDN下載的這個庫，花了我7個金幣來著。我把下載好的數據集放到百度網盤了，地址如下：https://pan.baidu.com/s/1lU8XJIcdiPE1thk7s5qP1Q 。這個資料庫包含40個人的每人10張人臉，並且每張圖片的大小是，同時為了讓演算法更有趣，我採集一下自己的人臉做一個小demo出來。
製作數據集
通過攝影機採集我們自己的人臉，並將我們的人臉保存到F盤下面的ORL文件夾中，這個文件夾下已經保存了40個人的人臉，我們在這下面新建一個名字為zxy的文件夾，保存我們採集到的圖片，只要10張就夠了，ORL文件目錄如下：
然後人臉識別的時候需要判斷一張影像是不是人臉，opencv可以使用Harr特徵的分類器或者LBP特徵的分類器，我們這裡使用Harr特徵的人臉級聯分類器，對應的xml格式的模型文件可以在opencv項目中找到，具體地址是https://github.com/opencv/opencv/blob/master/data/haarcascades/haarcascade_frontalface_default.xml。這裡我下載下來放到F盤的一個文件夾里，後面要載入，文件目錄結構為：
人臉採集的程式碼如下：
#coding=utf-8 # shutil的解釋：os模組不僅提供了新建文件、刪除文件、查看文件屬性的操作功能， # 還提供了對文件路徑的操作功能。但是，對於移動、複製、打包、壓縮、解壓文件 # 及文件夾等操作，os模組沒有提供相關的函數，此時需要用到shutil模組。shutil # 模組是對os模組中文件操作的補充，是Python自帶的關於文件、文件夾、壓縮文件 # 的高層次的操作工具，類似於高級API。 import numpy as np import cv2 import shutil import os # 生成自己的人臉數據 def generator(data): name = input('Input Name: ') # 如果路徑存在則刪除 path = os.path.join(data, name) if os.path.isdir(path): shutil.rmtree(path) #遞歸刪除文件夾 # 創建文件 os.mkdir(path) # 創建一個級聯分類器，載入一個xml分類器文件，它既可以是Harr特徵也可以是LBP特徵的分類器 face_cascade = cv2.CascadeClassifier('F:\face_recognize\haarcascade_frontalface_default.xml') # 打開攝影機 camera = cv2.VideoCapture(1) cv2.namedWindow('Face') # 計數 count = 1 while True: # 讀取一幀影像 ret, frame = camera.read() # 判斷圖片是否讀取成功 if ret: gray_img = cv2.cvtColor(frame, cv2.COLOR_BGR2GRAY) #人臉檢測 faces = face_cascade.detectMultiScale(gray_img, 1.3, 5) for (x,y,w,h) in faces: # 在原影像上繪製矩形 cv2.rectangle(frame,(x,y),(x+w,y+h),(255,0,0),2) # 調整影像大小 和ORL人臉庫影像一樣大小 f = cv2.resize(frame[y:y+h,x:x+w],(92,112)) # 保存人臉 cv2.imwrite('%s/%s.bmp'%(path,str(count)),f) count += 1 cv2.imshow('Face', frame) #如果按下q鍵則退出 if cv2.waitKey(100) & 0xff == ord('q') : break camera.release() cv2.destroyAllWindows() if __name__=='__main__': data = 'F:\ORL' generator(data)
我採集了自己的10張人臉，放在F:ORL目錄下（人臉打了馬賽克）。
人臉識別
OpenCV有3種人臉識別演算法，Eigenfaces,Fisherfaces和Local Binary Pattern Histogram。這幾個演算法都需要對影像或影片中檢測到的人臉進行分析，並在識別到人臉的情況下給出人臉類別的概率。我們在實際應用中可以通過卡閾值來完成最後的識別工作。這篇文章主要是介紹特徵臉法，特徵臉法，本質上其實就是PCA降維，這種演算法的基本思路是，把二維的影像先灰度化，轉化為一通道的影像，之後再把它首尾相接轉化為一個列向量，假設影像大小是20*20的，那麼這個向量就是400維，理論上講組織成一個向量，就可以應用任何機器學習演算法了，但是維度太高演算法複雜度也會隨之升高，所以需要使用PCA演算法降維，然後使用簡單排序或者KNN都可以。
準備數據
這裡先準備訓練需要的數據，這裡我們需要的數據格式是將訓練的影像，每個影像對應的標籤，以及每個標籤對應的真實姓名。不難寫出如下數據載入函數：
# 讀取 def LoadData(data): # data表示訓練數據集所在的目錄，要求圖片尺寸一致 # images：[m, height, width] 其中m代表樣本個數，height代表圖片高度，width代表寬度 # names: 名字的集合 # labels: 標籤 images = [] labels = [] names = [] label = 0 #過濾所有的文件夾 for subDirname in os.listdir(data): subjectPath = os.path.join(data,subDirname) if os.path.isdir(subjectPath): #每一個文件夾下存放著一個人的照片 names.append(subDirname) for fileName in os.listdir(subjectPath): imgPath = os.path.join(subjectPath,fileName) img = cv2.imread(imgPath,cv2.IMREAD_GRAYSCALE) images.append(img) labels.append(label) label += 1 images = np.asarray(images) labels = np.asarray(labels) return images,labels,names
構建人臉識別模型
就調用特徵臉法開始擬合數據，然後人臉識別並列印到攝影機窗口上即可。程式碼如下：
def FaceRecognize(): #載入訓練數據 X,y,names=LoadImages('F:\ORL') model = cv2.face.EigenFaceRecognizer_create() model.train(X,y) face_cascade = cv2.CascadeClassifier('F:\face_recognize\haarcascade_frontalface_default.xml') #打開攝影機 camera = cv2.VideoCapture(1) cv2.namedWindow('Face') while(True): # 讀取一幀影像 ret,frame = camera.read() #判斷圖片讀取成功 if ret: gray_img = cv2.cvtColor(frame,cv2.COLOR_BGR2GRAY) #人臉檢測 faces = face_cascade.detectMultiScale(gray_img,1.3,5) for (x,y,w,h) in faces: #在原影像上繪製矩形 frame = cv2.rectangle(frame,(x,y),(x+w,y+h),(255,0,0),2) roi_gray = gray_img[y:y+h,x:x+w] try: #寬92 高112 roi_gray = cv2.resize(roi_gray,(92,112),interpolation=cv2.INTER_LINEAR) params = model.predict(roi_gray) print('Label:%s,confidence:%.2f'%(params[0],params[1])) cv2.putText(frame,names[params[0]],(x,y-20),cv2.FONT_HERSHEY_SIMPLEX,1,255,2) except: continue cv2.imshow('Face',frame) #如果按下q鍵則退出 if cv2.waitKey(100) & 0xff == ord('q') : break camera.release() cv2.destroyAllWindows()
注意這裡運行可能會報錯，提示AttributeError: module 'cv2.cv2' has no attribute 'Tracker_create'。這可能是因為你沒有安裝python opencv contriub模組。安裝下就好了，安裝命令如下：
pip3 install opencv-contrib-python
結果
給自己人臉打了馬賽克。
特徵臉法原理
還記得我們前面講的機器學習演算法之PCA降維嗎？特徵臉法就是利用PCA演算法。如果把我之前講的那篇文章弄懂了，這都是不是事了。機器學習演算法之PCA演算法的講解地址如下：https://mp.weixin.qq.com/s/2ZVneGPLF7a73JG-aVlH1g 。PCA演算法的大致思路如下：
- 對圖片進行預處理：將圖片灰度化，調整到統一尺寸，進行光照歸一化等。
- 將圖片轉換為一個向量：經過灰度化處理的圖片是一個矩陣，將這個矩陣中的每一行連到一起，則可以變為一個向量，將該向量轉換為列向量。
- 將數據集中的所有圖片都轉換為向量後，這些數據可以組成一個矩陣，在此基礎上進行零均值化處理，就是將所有人臉在對應的維度求平均，得到一個平均臉(average face)向量，每一個人臉向量減去該向量，從而完成零均值化處理。
- 將經過零均值化處理的影像向量組合在一起，可以得到一個矩陣。通過該矩陣可以得到PCA演算法中的協方差矩陣。
- 計算協方差矩陣的特徵值和特徵向量，每一個特徵向量的維度與原始影像向量的維度是一致的，因此這些特徵向量可以看成是一致的，因此這些特徵向量就是所謂的特徵臉。
上面描述的演算法實際上就是我們的PCA演算法，前面我們說過，這些影像的維度很大，這就造成執行PCA演算法對協方差矩陣求特徵向量時會很耗時。因此，在求特徵向量時，特徵臉法在PCA的基礎上進行修改，不去對協方差矩陣求特徵向量。在絕大多數情況下，圖片的數量n遠小於圖片的維度m，故在PCA演算法執行的過程中，起作用的只有m-1個，這個過程簡要描述如下：設協方差矩陣如下： 其中矩陣為經過零均值化後的由n張圖片組成的矩陣，設原始圖片向量的維度為m，則該矩陣為m行n列。顯然PCA演算法是對協方差矩陣求特徵向量，這個協方差矩陣是m行m列的方陣，其中m代表影像的像素點數量。這個維度是很高的。而實際上特徵臉法是對下述矩陣求特徵向量。 這個是n行n列的方陣,n代表圖片數據的數量，由於這個數值遠遠小於m，故對該矩陣求特徵向量的速度是快很多的。特徵臉法的復現程式碼如下（轉自https://blog.csdn.net/freedom098/article/details/52088064）：
#encoding=utf-8 import numpy as np import cv2 import os class EigenFace(object): def __init__(self,threshold,dimNum,dsize): self.threshold = threshold # 閾值暫未使用 self.dimNum = dimNum self.dsize = dsize def loadImg(self,fileName,dsize): ''' 載入影像，灰度化處理，統一尺寸，直方圖均衡化 :param fileName: 影像文件名 :param dsize: 統一尺寸大小。元組形式 :return: 影像矩陣 ''' img = cv2.imread(fileName) retImg = cv2.resize(img,dsize) retImg = cv2.cvtColor(retImg,cv2.COLOR_RGB2GRAY) retImg = cv2.equalizeHist(retImg) # cv2.imshow('img',retImg) # cv2.waitKey() return retImg def createImgMat(self,dirName): ''' 生成影像樣本矩陣，組織形式為行為屬性，列為樣本 :param dirName: 包含訓練數據集的影像文件夾路徑 :return: 樣本矩陣，標籤矩陣 ''' dataMat = np.zeros((10,1)) label = [] for parent,dirnames,filenames in os.walk(dirName): # print parent # print dirnames # print filenames index = 0 for dirname in dirnames: for subParent,subDirName,subFilenames in os.walk(parent+'/'+dirname): for filename in subFilenames: img = self.loadImg(subParent+'/'+filename,self.dsize) tempImg = np.reshape(img,(-1,1)) if index == 0 : dataMat = tempImg else: dataMat = np.column_stack((dataMat,tempImg)) label.append(subParent+'/'+filename) index += 1 return dataMat,label def PCA(self,dataMat,dimNum): ''' PCA函數，用於數據降維 :param dataMat: 樣本矩陣 :param dimNum: 降維後的目標維度 :return: 降維後的樣本矩陣和變換矩陣 ''' # 均值化矩陣 meanMat = np.mat(np.mean(dataMat,1)).T print '平均值矩陣維度',meanMat.shape diffMat = dataMat-meanMat # 求協方差矩陣，由於樣本維度遠遠大於樣本數目，所以不直接求協方差矩陣，採用下面的方法 covMat = (diffMat.T*diffMat)/float(diffMat.shape[1]) # 歸一化 #covMat2 = np.cov(dataMat,bias=True) #print '基本方法計算協方差矩陣為',covMat2 print '協方差矩陣維度',covMat.shape eigVals, eigVects = np.linalg.eig(np.mat(covMat)) print '特徵向量維度',eigVects.shape print '特徵值',eigVals eigVects = diffMat*eigVects eigValInd = np.argsort(eigVals) eigValInd = eigValInd[::-1] eigValInd = eigValInd[:dimNum] # 取出指定個數的前n大的特徵值 print '選取的特徵值',eigValInd eigVects = eigVects/np.linalg.norm(eigVects,axis=0) #歸一化特徵向量 redEigVects = eigVects[:,eigValInd] print '選取的特徵向量',redEigVects.shape print '均值矩陣維度',diffMat.shape lowMat = redEigVects.T*diffMat print '低維矩陣維度',lowMat.shape return lowMat,redEigVects def compare(self,dataMat,testImg,label): ''' 比較函數，這裡只是用了最簡單的歐氏距離比較，還可以使用KNN等方法，如需修改修改此處即可 :param dataMat: 樣本矩陣 :param testImg: 測試影像矩陣，最原始形式 :param label: 標籤矩陣 :return: 與測試圖片最相近的影像文件名 ''' testImg = cv2.resize(testImg,self.dsize) testImg = cv2.cvtColor(testImg,cv2.COLOR_RGB2GRAY) testImg = np.reshape(testImg,(-1,1)) lowMat,redVects = self.PCA(dataMat,self.dimNum) testImg = redVects.T*testImg print '檢測樣本變換後的維度',testImg.shape disList = [] testVec = np.reshape(testImg,(1,-1)) for sample in lowMat.T: disList.append(np.linalg.norm(testVec-sample)) print disList sortIndex = np.argsort(disList) return label[sortIndex[0]] def predict(self,dirName,testFileName): ''' 預測函數 :param dirName: 包含訓練數據集的文件夾路徑 :param testFileName: 測試影像文件名 :return: 預測結果 ''' testImg = cv2.imread(testFileName) dataMat,label = self.createImgMat(dirName) print '載入圖片標籤',label ans = self.compare(dataMat,testImg,label) return ans if __name__ == '__main__': eigenface = EigenFace(20,50,(50,50)) print eigenface.predict('d:/face','D:/face_test/1.bmp')
