實時把臉變成名畫！手機攝像頭新玩法火了
這款叫做「FaceBlit」的最新的風格遷移技術，能夠實時把鏡頭前你的臉變成指定畫像的風格，還能匹配你的表情動作。
性別不同也沒問題。
甚至可以用雕像和草稿。
這一切都能在手機上實時進行，不需要拍好視頻再等待處理。這意味着，本項技術可以應用於直播和視頻通話，而不僅是上傳拍好的視頻作品。
它還可以反過來用，通過鏡頭捕捉你的表情動作，讓畫像同步動起來。
來看看這麼驚艷的效果是如何做到的吧。
位置匹配+外觀匹配
首先是位置匹配，通過下巴的輪廓確定整個面部的形狀。檢測出五官等重要面部特徵並編碼。
再把畫像與人臉的面部特徵進行匹配，確保遷移的結果在語義上能夠一一對應。既鼻子對鼻子，眼對眼。
然後是外觀匹配，先把畫像與人臉都去掉顏色進行灰度化，再進行高斯模糊處理。
用原始圖像減去模糊後的圖像得到其差值圖像。以差值圖像為依據進行直方圖匹配（Histogram Match）。
從對比圖中可以看到，位置匹配和外觀匹配共同作用才能得到理想的結果。
為什麼這麼快？
風格遷移其實已經有很多方案，但使FaceBlit脫穎而出的最大的特點就在於速度快，無需大規模數據集和長時間訓練。
在19年的前期成果中已經能做到在十幾秒內訓練出穩定的效果。
FaceBlit將Fi?er等人在2017年提出方法中的4個匹配簡化成兩個，即上面提到的位置匹配和外觀匹配，並改進底層生成算法，將準備時間縮短到幾十毫秒。
檢測面部特徵時使用下採樣(subsample)，在對檢測精度影響很小的情況下降低圖片的分辨率。
通過預計算3D像素查找表，以佔用更多內存為代價節省時間，並將搜索範圍限制在目標位置的20個像素以內。
最終在性能測試中，FaceBlit通過稍微提高預計算時間，大大減少了合成時間。這意味着，完成對參考畫像的預計算後，就可以實時合成出所需的圖像。
還是在只使用了CPU的情況下。
在使用三星Note 8手機的測試中，FaceBlit在50萬像素分辨率下以每秒15幀運行。
進一步研究方向
研究團隊表示，雖然FaceBlit效果已經很驚艷，但還不夠完美，並提出了3個未來的研究方向。
解決由於在計算過程中省略了對時間一致性的匹配，導致生成結果中會出現閃爍的問題。
解決外觀匹配方法容易在風格遷移中忽略一些大尺度的特徵的問題。
通過交叉分析相似風格的同一套畫像，來使結果能適應不同觀察角度、照明條件等複雜情況。
作者團隊
這項研究一作為來自捷克理工大學的Aneta Texler, Ond?ej Texler和Michal Ku?era。
另外還有來自相機社交應用公司Snap的華人研究員柴蒙磊參與其中。
柴蒙磊博士畢業於浙江大學。主要從事計算機視覺和計算機圖形學的研究，主攻人類數字化、圖像處理、三維重建和基於物理的動畫。
最後，FaceBlit的相關代碼預計於4月份在GitHub上公布。
<
