全球首個3D AI合成主播亮相:中國女記者為原型

5月21日,搜狗聯合新華社推出的全球首個3D AI合成主播「新小微」正式亮相,基於搜狗人工智慧核心技術,為全國觀眾帶來最新的兩會新聞資訊報道。

早在2018年,基於搜狗分身技術,搜狗就推出全球首個AI合成主播「新小浩」,已在新華社客戶端上持續為觀眾服務500多天,先後產出13000多條新聞報道,累計時長超過35000分鐘。

而此次的3D AI合成主播就是搜狗分身最新的突破性成果。較之前的2D AI合成主播,3D「新小微」不僅立體、靈活,可控,還具有同時支援多機位多景深,360°任意角度呈現內容等能力,在應用空間上擁有更多的可能性,為新聞節目多樣化製作和呈現帶來了更多選擇。

全球首個3D AI合成主播亮相:中國女記者為原型

據了解,「新小微」以新華社記者趙琬微為原型,基於超寫實3D數字人建模、多模態識別及生成、實時面部動作生成及驅動、遷移學習等多項人工智慧前沿技術,使機器可以基於輸入文本生成逼真度極高的3D數字人影片內容。

3D AI合成主播結合了原力科技提供的業界領先的掃描還原、面部肌肉驅動、表情肢體捕捉等技術,生產出了高度還原真人髮膚、形象逼真的數字人模型。

同時基於搜狗分身領先的端到端多模態建模技術,使用語音、影像、文本、3D肌肉運動數據等多模態資訊完成聯合建模訓練。

在AI演算法的驅動下,只需輸入文本內容,「新小微」就能根據語義實時播報新聞,其表情唇動、肢體動作和語音表達高度契合、自然逼真。

搜狗表示,不久的將來,3D AI合成主播還會走出演播廳,支援外景播報和互動採訪,為觀眾帶來最前沿的新聞訊息。