【每周CV論文推薦】初學深度學習單張影像三維人臉重建需要讀的文章

2019 年 11 月 27 日
筆記

歡迎來到《每周CV論文推薦》。在這個專欄里，還是本著有三AI一貫的原則，專註於讓大家能夠系統性完成學習，所以我們推薦的文章也必定是同一主題的。

基於影像的人臉三維重建在人臉分析與娛樂領域裡有巨大的應用場景，本文來介紹初學深度學習單張影像人臉三維重建必須要讀的文章。

作者&編輯 | 言有三

1 3DMM與數據集

雖然這裡推薦的是深度學習三維人臉重建需要讀的文章，但是因為經常需要用到經典的3DMM模型以及一些數據集，包括最著名的中性表情BFM模型及其2017年新增表情的版本，中國浙大開源的帶表情的FareWareHouse數據集。

文章引用量：4000+

推薦指數：✦✦✦✦✦

[1] Blanz V, Vetter T. A morphable model for the synthesis of 3D faces[C]//Siggraph. 1999, 99(1999): 187-194.

[2] Cao C, Weng Y, Zhou S, et al. Facewarehouse: A 3d facial expression database for visual computing[J]. IEEE Transactions on Visualization and Computer Graphics, 2013, 20(3): 413-425.

2 3DMM CNN系列

3DMM CNN是早期使用CNN直接估計3DMM模型形狀係數的方法，模型簡單有效，使用了非對稱損失提升性能。

在此之後，3DMM CNN的作者又水了姿態和表情係數的論文。

文章引用量：160+

推薦指數：✦✦✦✦✦

[3] Tuan Tran A, Hassner T, Masi I, et al. Regressing robust and discriminative 3D morphable models with a very deep neural network[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2017: 5163-5172.

[4] Chang F J, Tuan Tran A, Hassner T, et al. Faceposenet: Making a case for landmark-free face alignment[C]//Proceedings of the IEEE International Conference on Computer Vision. 2017: 1599-1608.

[5] Chang F J, Tran A T, Hassner T, et al. ExpNet: Landmark-free, deep, 3D facial expressions[C]//2018 13th IEEE International Conference on Automatic Face & Gesture Recognition (FG 2018). IEEE, 2018: 122-129.

3 Volumetric CNN

既然CNN這麼強大，為什麼不直接預測3D坐標呢？Volumetric CNN就是這樣的思路，簡單直接預測每一個像素，將3D重建當作了一個影像分割問題。

文章引用量：140+

推薦指數：✦✦✦✦✦

[6] Jackson A S, Bulat A, Argyriou V, et al. Large pose 3D face reconstruction from a single image via direct volumetric CNN regression[C]//Proceedings of the IEEE International Conference on Computer Vision. 2017: 1031-1039.

4 PRNet

三維重建需要預測mesh的頂點坐標，但是直接預測是有困難的，PRNet通過一個UV position map來進行表徵，方法簡單有效，UVMap對於一些其他的應用也是有啟示的。

文章引用量：80+

推薦指數：✦✦✦✦✧

[7] Feng Y, Wu F, Shao X, et al. Joint 3d face reconstruction and dense alignment with position map regression network[C]//Proceedings of the European Conference on Computer Vision (ECCV). 2018: 534-551.

5 MoFa

真實的3D數據集獲取成本非常高，因此研究人員常常採用模擬的數據集，但是模擬數據集精度不夠。以MoFa為代表的這一類方法不依賴於現在的數據集，它通過將二維影像重建到3維，再反投影回2D圖的方案，是非常值得研究的自監督重建方法。

文章引用量：160+

推薦指數：✦✦✦✦✦

[8] Tewari A, Zollhofer M, Kim H, et al. Mofa: Model-based deep convolutional face autoencoder for unsupervised monocular reconstruction[C]//Proceedings of the IEEE International Conference on Computer Vision. 2017: 1274-1283.

6 Survey

最後給大家推薦一個2019年關於3DMM模型的綜述文章，作為一周的論文閱讀來說，上面的內容已經足夠多了。

三維人臉重建是一個很大的坑，Shape from Shading以及Structure from Motion等方法這一次沒有介紹，後面再說。關於3DMM模型的基礎公眾號幾年前有過簡單的解讀，之前的一個電腦視覺大綜述也有介紹，大家可以快速參考。

三維人臉重建入門

VR來了，3D人臉重建跟上->《三維人臉重建-3DMM》

【AI白身境】一文覽盡電腦視覺研究方向

文章引用量：很新

推薦指數：✦✦✦✦✦