FS2K人臉素描屬性識別

• 2022 年 6 月 28 日
• 筆記
• 影像

人臉素描屬性識別

程式碼：//github.com/linkcao/FS2K_extract

問題分析

• 需要根據FS2K數據集進行訓練和測試，實現輸入一張圖片，輸出該圖片的屬性特徵資訊，提取屬性特徵包括hair（有無頭髮）、hair_color(頭髮顏色)、gender（影像人物性別）、earring（是否有耳環）、smile（是否微笑）、frontal_face(是否歪脖)、style（圖片風格），詳細資訊均可通過FS2K的anno_train.json和anno_test.json獲取，本質是一個多標籤分類問題。

處理方案

• 首先對於FS2K數據集用官方的數據劃分程式進行劃分，之後對劃分後的數據進行預處理，統一圖片後綴為jpg，之後自定義數據載入類，在數據載入過程中進行標籤編碼，對圖片大小進行統一，並轉成tensor，在處理過程中發現存在4個通道的圖片，採取取前3個通道的方案，之後再對影像進行標準化，可以加快模型的收斂，處理完成的數據作為模型的輸入，在深度學習模型方面，首先需要進行模型選擇，使用了三個模型，分別為VGG16,ResNet121以及DenseNet121，在通過pytorch預訓練模型進行載入，並修改模型輸出層，輸出數量為圖片屬性特徵數，之後在設定模型訓練的參數，包括Batch，學習率，epoch等，在每一輪訓練完成後，都需要對預測出的特徵進行處理，在二分類標籤設定概率閾值，多分類標籤特徵列則進行最大概率類別組合，取預測概率最大的類別作為當前屬性的預測結果，每一輪訓練都在測試集上進行性能評估，並根據F1指標擇優保存模型。訓練完成後，在測試集上預測屬性提取結果，對每一個屬性進行性能評估，最後取平均，得到平均的性能指標。

整體的處理流程如下圖所示：

數據預處理

1. 數據劃分，根據FS2K官方給出的數據劃分得到訓練集和測試集
2. 統一圖片後綴為jpg，通道數為3
3. 所給數據集分為三個文件夾，每個文件夾圖片的像素各不相同，分別為250*250、475 *340、223 *318，這裡統一變換成256 * 256，便於後序處理
4. 將圖片數據轉成tensor
5. 逐channel的對影像進行標準化，可以加快模型的收斂

標籤編碼

1. 由於目標屬性集中存在hair_color、style 兩個多分類標籤，因此對這兩個標籤做編碼處理
2. 採用One_Hot編碼對多類別標籤進行處理
   1. hair_color中0 對應 [1,0,0,0,0], 1對應[0,1,0,0,0], 2對應[0,0,1,0,0],以此類推，共5類
   2. style中 0 對應 [1,0,0]，1對應[0,1,0], 2對應[0,0,1],以此類推,共3類
3. 在和其他的5個二分類標籤拼接組成標籤向量，共13維

實驗模型

VGG16

模型結構參數

由於VGG16最後一層全連接輸出1000維特徵，因此在本題中需要在加一層全連接輸入1000維特徵，輸出13維特徵，最後再加上一層sigmoid激活函數，在得到每一類預測的概率後，針對編碼過的hair_color、style的8列，對各自的編碼後的對應列計算概率最大的列下標，作為該屬性的預測值。
訓練參數

photo數據集上模型訓練Loss

結果 「方法一」

ResNet18

模型結構參數

模型修改 ，模型最後加一層全連接輸入1000維特徵，輸出13維特徵，最後再加上一層sigmoid激活函數

訓練參數

photo數據集上模型訓練Loss

photo數據集結果 「方法二」

Sketch數據集上模型訓練Loss

sketch數據集結果 「方法三」

DenseNet121

模型結構參數

訓練參數

photo數據集上模型訓練Loss

photo數據集結果 「方法四」

Sketch數據集上模型訓練Loss

sketch數據集結果 「方法五」