AI換臉用來拍電影?迪士尼自研演算法突破百萬高清像素

AI換臉又一次刷爆了朋友圈

最近雲畢業正當時,各家科技公司順勢推出了自己的AI換臉技術,結果又被同學們玩壞了!

換臉這件事絕不能少了業界大佬們!

不得不說,好看是不分性別的,彥宏兄氣質滿分!

仔細來看,AI換臉技術近些年還是成熟不少,整體的面部貼合度、細節處理都有了明顯的提升。近日,Deepfake領域再一次取得了重要突破。據了解,迪士尼公司公布了一項最新研究成果,聲稱其人臉交換技術可達到業內最高水平。

從效果圖來看,果然一點挑不出毛病!

AI換臉用來拍電影?迪士尼自研演算法突破百萬高清像素

據了解,迪士尼研究室與蘇黎世聯邦理工學院合作基於GAN提出了一種新型演算法,它可以自動實現影像/影片中的人臉交換,同時保證數百萬級的高解析度。

更值得關注的是,目前這項研究成果已初步計劃用於好萊塢大片製作,據說因為它可以改善電影品質和後期製作成本。

走進好萊塢大片的Deepfake

人臉交換在電影行業並不罕見。在一些好萊塢大片經常會用到替身演員完成一些專業的、高難度動作。為了保證電影效果,後期製作會花費大量成本。然而常見的電腦圖形合成技術,效果常常差強人意,甚至會翻新重拍。

這在時間和金錢方面都是非常大的成本消耗,因此,迪士尼公司特此聯合蘇黎世聯邦理工學院開展了此項合作研究。

近日,迪士尼公司對完宣稱,他們研究了一款新型人臉交換技術,可用於電影或電視劇製作。他們聲稱該技術可在人臉交換過程中產生高解析度,逼真的影像/影片,非常適合大螢幕播放。

局部融合更考驗換臉的技術難度。為了驗證演算法性能,研究人員他們沒有對人臉的眼部、唇部等局部器官進行了融合,效果也是非常驚人。

AI換臉用來拍電影?迪士尼自研演算法突破百萬高清像素

基於圖一,圖二、三分別進行了唇部和眼部的局部人臉融合,可以看出局部融合度非常高,高清、自然,看不出一點破綻。同時它能夠隨著唇部抖動實時貼合,毫無跳脫感。而且研究人員證實,影片中的人臉交換一般比靜態影像效果更好。

局部人臉交換在動態影片中的融合優勢,這在電影場景中是非常必要的。

更值得關注的是它可以產生百萬級像素的解析度。不過,研究人員表示他們採用了一種漸進式的方法(Progressive Training)對源影片/影像進行預訓練,演算法可從中提取較高解析度影像。下圖可明顯看到經訓練的人臉像素遠高於未經訓練的結果。

研究人員介紹,基於高清解析度和局部融合技術的新型演算法最大限度地擴展了人臉交換在電影中的應用。除了替身演員的全臉交換外,如需要刻畫一位年齡逐漸增長的任務或已經進入垂暮之年的老人,可以根據需要為角色添加細微皺紋、髮型和體態。

另外,它可以與其他作品完成表演上的替換,當然這裡可以對原影片的背景和光照進行特殊處理,以使他可以融入電影場景中。這也是區別於傳統後期製作的一種新方法。

基於梳狀模型的最新演算法

那麼這項AI換臉技術是如何實現的呢?我們先來看一組完整的換臉路徑圖:

步驟1和2:對源影像進行面部識別、特徵提取,以及標準化剪裁(1024×1024);

步驟3:將影像輸入通用編碼器進行模型訓練;

步驟4:將解碼後輸出的影像與需要匹配的目標進行多頻帶混合,最終得到人臉交換後的效果圖。

其中通用編碼器的訓練模型是一個關鍵,這裡研究人員採用的是一種漸進式梳狀網路結構(Comb Model)面部交換主要是通過域轉移的方法來實現。我們使用通用編碼器將經預處理的影像嵌入共享的潛在空間中,然後使用與之對應的解碼器將這些嵌入映射回像素空間中。通常域轉移主要在這兩個空間中進行切換,但在本文中,研究人員擴展了一種新的思路。

AI換臉用來拍電影?迪士尼自研演算法突破百萬高清像素

如我們圖中看到的,經編碼器處理的影像,被解碼器分支到P個域中,研究人員將這種架構成為梳狀模型。這裡各個編碼器就相當於梳狀結構的「齒子」。

在這裡,單個梳狀模型可以處理多個源目標的人臉融合,而且與雙向模型相比,它可以有效減少訓練的時間,同時明顯提高影像的保真度

如前文所說,模型訓練採用的是一種漸進式的方式。該過程通過對高解析度影像進行下取樣,得到低解析度影像,然後在訓練中再逐步輸入高解析度,逐漸擴展網路的容量,最終得帶高保真影像。

不過,這裡要注意的是,最終輸出的影像解析度會受到原始數據集影像解析度的限制。如果數據集缺乏高解析度,可以採用超解析度的方式對影像進行預處理,不過最好採用特定於面部的SR訓練方法。

除此之外,研究人員介紹,梳狀模型和多頻帶的混合策略,還有助於保持融合背景的光線和對比度。

對比分析,優勢明顯

研究人員將漸進式梳狀模型與目前三種開源的人臉技術,分別為Deepfake、DeepFaceLab和Nirkin et aI進行了對比研究。其中,Nirkin et aI採用三維可變模型,不需要預訓練。後兩者採用Y形自動編碼器結構的實現。

AI換臉用來拍電影?迪士尼自研演算法突破百萬高清像素
人臉交換方法的比較

本次試驗對五組人臉進行了對比。前兩列分別源影像和目標影像,需要進行AI融合,從之後的影像可以看,本次研究模型在細節融合、影像解析度以及陰影處理上,要高於其他演算法模型。

而且,它採用的多頻帶混合在消除偽影方面要明顯優於泊松混合。DeepFakes和DeepFaceLab都的使用是泊松混合(Poisson)。

不過,研究也存在明顯的局限性,比如顯示無法對戴眼鏡的人進行穩定的人臉交換,不是因為眼鏡部分無法渲染,而是無法將臉部與周圍影像混合。研究人員曾嘗試調整輸入源與之相匹配,但結果時好時壞。、

不過,研究人員也解釋在實際應用或電影場景中,可能影響不大。