CCAI 2021 | 騰訊優圖汪鋮傑：用AI生成更優更新的內容
目前，人工智慧技術已經在人臉識別、語音處理、影片處理、自然語言處理等領域得到了突飛猛進的進展。未來人工智慧技術將在哪些行業和業務場景中最快得到應用，以及將會向著哪些方向重點發展，成為了行業共同關心的問題。
10月12日，以「智啟非凡」為主題2021中國人工智慧大會（CCAI 2021）在成都正式開幕。作為中國人工智慧領域的頂級盛會，本次大會共設置了8場主題報告、1場院士尖峰對話、9大專題論壇、6個同期活動面，由23位中外院士領銜，近百位學術技術精英齊聚一堂，通過一系列主題報告和專題論壇深刻呈現人工智慧學術前沿、技術動態、產業趨勢，反映了產學研各界對產業數智化發展的前沿探索和前瞻思考，引領智慧科技在進步中與多領域融合發展，激發傳統行業變革活力。
本次CCAI2021中，騰訊優圖實驗室研究總監汪鋮傑受邀出席了智慧創意與視覺知識表達專題論壇並發表了以《視覺內容編輯生成技術研究與應用》為主題的演講，向與會者分享了優圖實驗室在視覺內容編輯生成技術領域的研究成果與應用實例，提供了學術研究和技術創新的方向創新。
01 以GAN和3D技術為主研方向 用AI生成更新更好的內容
在智慧手機的普及和人們時間碎片化的態勢下，以在線音樂、短影片、直播、資訊等為代表的內容逐漸成為用戶的主要消費對象。隨著用戶精神消費品質的不斷升級和興趣面的不斷擴展，用戶對於內容的生產效率和品質的要求也在不斷提高。而AI技術的發展和完善，能夠幫助內容生產者在提高內容生產效率的基礎上，豐富內容生產的多種類並提供更加動態且可交互的內容，以滿足日益增長的內容需求。
在此背景下，AI生成內容（AIGC）應運而生。優圖實驗室針對AIGC的主要研究目標就是如何用AI技術生成更新、更好的內容。優圖實驗室在AIGC方面擁有兩大核心技術：
通過研究生成式對抗網路（GAN）和GAN內部涉及的FCN結構，通過深度影像壓縮技術生成不同程度、不同解析度的影像，以保障影像在高清影視製作場景下的清晰度；
2.通過在3D的重建、渲染、驅動等環節中引入深度學習和自監督圖形學習模式，通過自監督學習來獲取大量數據，使3D效果的通用性和泛化性得到較為明顯的提升。
02 深度學習提升3D人像重建效果 技術應用場景越來越廣闊
通過融入深度學習和自監督學習機制，不需要再用複雜設備現場採集大量數據，而是通過輸入多張人像圖片就能夠相對輕鬆地完成對於人像面部的3D建模。
同時，在進行特徵融合時，優圖實驗室的3D重建技術可以接受任意一張圖片輸入，通過多人臉約束讓重建精度變得更高。
以這種方式生成的3D人像的ID豐富度會大幅度提升，因為在生成的過程中會將人像的幾何資訊和紋理資訊一併重建，實現人面部皺紋級的細節還原，最終讓人像能夠覆蓋各個年齡段和各種長相特徵。
目前這項3D重建技術已經能夠廣泛應用在超寫實類遊戲角色的塑造和低成本3D數字人製作的領域之中。在實際應用場景中，3D重建技術可以通過多視角資訊融合功能，僅憑几張照片就可以實現超寫實型的角色塑造。
在為遊戲《天涯明月刀》進行角色建模時，為了讓最終人像符合原作畫風，優圖實驗室在3D重建的人像上基於用戶人臉的特徵分布以及遊戲裡面特徵分布的差異做細微調整，並基於定位以及細粒度屬性的識別結果，對角色進行精細化修正，最終輸出人們在遊戲中看到的栩栩如生的角色建模。
03 深入研究提升GAN訓練模式優化效果 讓經典影視作品達到4K標準
近年來,隨著文化產業政策的利好推動和居民消費水平的提高,中國影視行業發展較快，催生了海量影視作品影像畫質優化的需求：除電影膠片修復外，很多存量經典MV和影視作品也需要去刮痕、去噪，並轉換成符合現在用戶觀影需求的4K品質。
為滿足影視行業中廣泛存在的AIGC需求，優圖實驗室在2020年就推出了ReaISR技術。通過構建很多跟現實情況非常接近的低質和高質的影像，再藉助pixel-wise loss、discriminative loss生成GAN訓練模式，以保障修復後的效果。
但是在這種情況下，畫面修復會出現矯枉過正的情況，出現很多高頻的artifacts。為解決此類問題，優圖實驗室以ReaISR技術為基礎，通過增加頻率密度約束來抑制高頻的artifacts，並根據影像狀態設計畫質評估模組，從而實現模組動態的調整域值的權重，在保證影像真實度的前提下大幅度提升影像優化效果。
在與上海電影學院和上海電影技術廠的合作中，優圖實驗室的ReaISR技術已經幫助其將膠片電影修復至2K甚至是4K的標準。此外，優圖實驗室還與一些國外影視製作公司合作，為其提供畫質轉換、去刮痕、去噪等服務。
除人工輔助外，騰訊雲公有雲影像超分API和騰訊雲媒體AI中台畫質優化功能模組中也集成了ReaISR技術，能夠幫助用戶用較低的成本實現數字內容的高清化。
04 優化技術框架讓AI實現「批量換臉「 在文化傳播領域得到廣泛應用
如今AI換臉對大眾來說已經並不是一項新鮮的技術了，但是現有的人臉合成框架只能支援兩個ID間的更換，即只支援A至B間的換臉，如果想將A換成C或是D的臉，則需要重新構建框架。
通過將Src影像ID特徵融合到合成框架中，優圖實驗室可以讓框架支援任意ID換臉，提升了AIGC的生產效率。同時，框架還引入Weak Feature Matching Loss高層語義特徵匹配、3D人臉資訊、影像超分模組等功能，在保障模板人臉中表情、光照的屬性特點都遷移到結果上的同時，大幅提升了最終生成人像的真實度和清晰度。
在文化運營、推廣活動和影視內容製作的領域中，AI換臉技術的應用場景很多。如可以把用戶的臉與遊戲人物融合在一起提升用戶和遊戲的互動性，或是在拍攝需要讓同一人物所飾演的不同角色同框出鏡的鏡頭時，用AI換臉技術把兩個角色都換成同一張臉來縮減拍攝成本等。
在實際應用場景中，去年深圳40周年推出的『深』份證」活動中就用到了引用了Src影像ID特徵的生成框架，超過千萬用戶參與並通過該框架生成了自己獨有的「深」份證。
此外，在政府弘揚當地少數民族文化時，也可以使用這項技術，以各式各樣的民族服飾作為背景，引導用戶上傳照片來生成自己民族服飾藝術照，提高當地少數民族文化的知名度，助力民族文化傳承。
AIGC技術在其他領域中也得到了廣泛應用。比如騰訊會議的中能夠保護用戶隱私的虛擬背景，虛擬光線等功能；通過3D重建技術實現手Q、微視和騰訊會議中的「人物影像全年齡演化」功能；目前優圖實驗室正在嘗試將這些技術應用到虛擬美妝領域中，通過演算法讓用戶能夠在照片上模擬化妝效果。
作為騰訊旗下頂級的人工智慧實驗室，騰訊優圖實驗室目前已擁有超過1000件全球AI專利，更有300餘篇論文被AAAI、ICCV等國際頂級AI會議收錄。憑藉在視覺AI技術上的研究成果，優圖實驗室通過騰訊雲共輸出超過20項AI解決方案，100+AI原子能力，助力各行各業實現數字化轉型。
此外，騰訊優圖還打造了如跨年齡AI尋人、青少年內容審核、AI探星等技術能力，踐行騰訊「科技向善」的使命和願景。未來，優圖實驗室將繼續專註人工智慧技術發展，通過推進AI基礎設施研發的形式為產業數字化轉型提供助力，促進數字經濟加速發展。
