4K葫蘆娃重生：秘密就藏在這裡
很快，遠處的一個黑點變成了清晰的火車頭，形形色色的旅客們涌了上來。
火車減速，沿月台緩緩停下，車廂門打開，奧古斯特·盧米埃爾夫人領著兩個穿白衣服的孩子走進了車廂……緊接著，一個穿潔白冬裝的少女走了過來，無意間看到了攝像機，她流露出害羞的表情，悄悄的躲過了鏡頭……
沒有複雜的拍攝技巧，沒有豐富的電影語言，一個簡單的火車進站的縱深鏡頭，真實呈現了19世紀90年代法國旅客候車時的情景。
這部《火車進站》是由盧米埃爾兄弟執導的世界上第一部電影，只有50s的黑白無聲影片在當時那個年代給人們帶來了極強的新鮮感，如今經過4K修復仍有一種濃厚的歷史韻味。
電影修復技術經過20年的發展，使大量經典、重要且珍貴的膠片電影擺脫了蒙塵的命運。《海上鋼琴師》《永不消失的電波》《英雄本色》《阿飛正傳》等影史經典以全新的面貌重映銀屏，帶回了一代人的青春記憶，也展現了老電影獨特的魅力。
《永不消失的電波》4k修復劇照
4K修復既能保留膠片電影特有的質感，又能適應電影的數字化，可以說是膠片時代過渡到數字時代的良好選擇。然而，這些經典電影「舊貌換新顏」的背後卻是巨額的成本投入，電影修復一直都是一門大產業。
一部影片要想完成4K修復起碼需要兩三個月、甚至半年之久。而「周期長」意味著「成本高」，影片《決勝時刻》從修復、投資到上映大概花了上千萬，詹姆斯.卡梅隆的傳世之作3D版《泰坦尼克號》更是耗資6千多萬元。
除了高額資金成本，人力短缺也是4K修復的一大桎梏。《開國大典》中一段10分鐘的鏡頭片段動用了600個人，而且這些人不僅要對電影藝術有很深的了解，更要知曉膠片的物理性質、化學性質、軟體修復技術以及電影特效等專業知識。
對於浩如煙海的膠片電影而言，修復工作是一項與時間賽跑的「搶救工作」。
近日，西瓜影片與火山引擎共同發布了「經典中影片4k修復計劃」，表示在未來一年內，將與央視動漫和上海美術電影製片廠合作，共同利用4K技術修復《舒克與貝塔》《西遊記》等 100 部家喻戶曉的經典動畫。
哪吒傳奇（2003）、圍棋少年（2005）、圍棋少年（2）、大頭兒子和小頭爸爸（1995）、小鯉魚歷險記（2007）、我為歌狂（2001）、葫蘆兄弟（1986）、三個和尚、小蝌蚪找媽媽、 黑貓警長1-5集、九色鹿、舒克和貝塔1-13集、沒頭腦和不高興1-26集、邋遢大王奇遇記1-13集、西遊記、魔方大廈1-10集、猴子撈月、大盜賊1-8集、葫蘆小金剛1-6集、南郭先生、曹沖稱象、大耳朵圖圖（第一季）、人蔘娃娃、鏡花緣1-4集、小鯉魚跳龍門、東郭先生、鷸蚌相爭、老狼請客、咕咚來了、嶗山道士、 半夜雞叫、十二生肖1-13集、小虎還鄉、驕傲的將軍、超級肥皂、濟公鬥蟋蟀 、人蔘王國、阿凡提的故事1-13集、過猴山、大英雄狄青1-52集、狼來了等100部影片。（修復後的內容，用戶可免費在西瓜影片觀看）
發布會上，針對當前4K電影修復成本高、周期長、人力短缺等缺點，火山引擎多媒體實驗室研究員趙世傑給出了火山引擎「智慧處理」解決方案。他表示，通過超解析度、智慧插幀、色彩增強、降噪等自研演算法，AI能夠大幅提升老片的修復效率和品質。
4k修復，還原藝術本色
發布會上，哪吒、葫蘆娃、黑貓警長，一個個經典形象以超高解析度出現在大螢幕上，每個畫面細節都被完美呈現，光影層次也變得流暢，給現場觀眾帶來了不一樣的童年感受。
所謂電影修復，其實就是將年代久遠的膠片電影重新拷貝到數字載體上，通過修復、降噪、補光、調色等技術處理，還原和優化影片原貌的過程。
2k技術是早期電影修復的主要手段，用於清除影片雜質、噪音，讓畫面恢復最初的視覺質感；4k技術在解析度上要求更高、更精細，除了清晰度和流暢度外，注重影片的原始色調和光影層次，為觀眾打造身臨其境的感覺。
2014年上映的《舞台姐妹》是中國首部4K修複電影，這部4K掃描、4K輸出的全彩修復影片令當時的觀眾耳目一新。後來隨著修復技術的日臻完善，2019年上映的修復版《那人那山那狗》《滑鐵盧戰役》《決勝時刻》接連成為電影市場的現象級作品。從這一年開始，4K修復版電影開始走進大眾的觀影生活，電影修復技術也正式由「2K時代」邁入「4K時代」。
儘管有了AI，4k電影修復仍是一項艱難且繁重的任務。趙世傑介紹，受到拍攝條件和膠片保存、使用過程中的損傷等因素影響，老電影普遍清晰度低、流暢度低、色彩失真、有瑕疵等不同程度的畫質問題。
在過去，老電影主要採用膠片作為拍攝和存儲的介質。早期膠片的材料是一種比紙更易燃的硝酸片基，後來發展出醋酸片基、滌綸片基取而代之，但不管是哪種片基，在常溫狀態下都很難保存，溫度、濕度以及搬運移動、使用播映外部因素很容易造成膠片損傷。
圖源：北京商報
目前中國電影資料館保存了近3萬部膠片影片資料，這些膠片由於年代久遠，保存條件不夠理想或者轉印、播放次數過多等原因，普遍存在著灰塵、污垢、霉斑、掉色、影像抖動、劃痕、閃爍、雜訊、變色、模糊等各種問題。
而膠片品質直接影響著人工修復的難度和時間成本。正常情況下，一位熟練的修復師一天最多可以修復200幀畫面，但如果膠片保存不佳，臟污、裂痕、變色等問題嚴重，修復師一天可能只能修復一秒（24幀），再者，如果畫面涉及夜戲、雨戲、煙霧戲、特效戲等複雜場景，修復周期更是成倍增加。在2019年上映的4K修復版《開國大典》中，一段拍攝於1945年和1945年之前的片段，全長只有10分鐘，佔用了整個修復團隊70%的時間。
由於膠片品質和所用時間不同，修復的花費也不盡相同，但一部90分鐘標準時長的4K影片修復通常需要百萬人民幣以上，且從物理修補，數字化轉換，再到聲畫合成、調色，整個修復過程難度不亞於製作一部新片。
其實拋開成本問題，電影修復最大的難題是如何保留影片藝術風格和美感，4K修復版電影曾一度因為顛覆膠片的美感而引發爭議。一部老電影，經過漫長的歲月侵蝕，早已變得暗淡模糊，通過AI技術把它修復得光鮮漂亮並不是難，難的是如何還原原來老電影的感覺。因此，如何賦予AI以「藝術修養」，是火山引擎所要攻克的核心問題。
四大智慧演算法，用「實力」讓情懷落地
「不管是修復動畫片，還是修復老電影，歸根到底，都不只是為了提高它的清晰度，而是修復這些內容背後的記憶，通過這些記憶在幾代人之間產生共鳴和火花，才是修復的價值所在。」西瓜影片總裁任利鋒表示，經典作品凝結了老藝術家的智慧與精神，需要我們真實地去還原和呈現。
在首批修復的動畫作品中，經典水墨剪紙動畫《葫蘆兄弟》也在其中，這部根據民間文學《十兄弟》改編的極具神話色彩的動畫片，是70、80後的共同回憶。為了保留水墨和剪紙獨有的藝術感，趙世傑坦言，他們修復《葫蘆兄弟》時多次與製片方討論方案，經過反覆測試和調優才達到理想效果。
在演算法方面，為了防止「誤傷」水墨朦朧的藝術效果，他們在消除瑕疵演算法上沒有設置很高的強度，而是「故意」漏掉一部分瑕疵交由人工輔助處理。對損傷嚴重的老片來說，徹底消除瑕疵需要投入大量人力。火山引擎修複數據顯示，演算法能夠直接消除95%以上的瑕疵，餘下的經過人工標註後再調整演算法做二次優化。
據了解，此次4K修復使用了火山引擎智慧處理產品中的部分技術能力，通過超解析度、智慧插幀、智慧降噪、色彩增強等演算法增強影片畫質。其修復過程大致為，先利用影片降噪演算法做前期處理，再進一步通過幾類不同的超解析度演算法增強將片幅擴大到4K解析度，並生成更精細的細節，最後再通過插幀演算法網路和HDR重製演算法，將一個原本充斥著雜訊和壓縮損傷問題的影片增強為一個主觀畫質舒適的4K 60幀HDR節目。以下為各項功能及優勢的簡單介紹：
智慧超分：根據已有的影像、影片資訊重構缺失的細節，解決老片普遍存在的模糊、清晰度差、解析度低的問題。
超解析度 (Super-Resolution，簡稱超分）在視覺處理方面的廣泛應用，使其有了非常成熟的解決方案。火山引擎的技術創新主要體現在時域建模和自適應處理。前者可自動生成恢復出額外的細節，後者可對影片或影像進行「區域分片」處理，以確保不同影片/影像區域的風格和美感。
智慧插幀：使用深度學習演算法，將低幀率影片通過插幀的方式變為高幀率影片，讓影片變得更順滑流暢。
老動畫片容易出現卡頓、流暢度不佳的現象，主要是因為影片繪畫幀數少。智慧插幀技術的功效就是通過分析前後幀的動態和內容，生成中間幀，進而提升影片幀率和流暢度。關於動畫紋理少的問題，現階段的解決方案難以判斷前後幀對應的運動塊，針對這個問題，火山引擎採用塊光流進行優化，提高了插幀的精準度。
影片降噪：消除膠片存放以及轉錄過程中帶來的各種噪點以及閃爍等缺陷。
常見的影片降噪演算法在消除雜訊的同時，容易對紋理區域有破壞，火山引擎方案通過對紋理、雜訊的智慧分析，在去噪的同時儘可能地保留影片原有紋理不受影響。
劃痕修復：對影片中膠片的劃痕損傷進行識別和修復。
對於常見的膠片劃痕，考慮到修復難度和效果，火山引擎採用了「演算法+人工」相結合的解決方案。從現有研究來看，如果使用純AI技術進行修復，密集且微小的劃痕很難被全部發現，也容易出現「誤傷」的情況；相對來說，人工修復的效果會更好，但它需要更多的時間和資金，效率反而降低了。火山引擎的方案是先使用演算法初步修復小劃痕，人工標註演算法再「查漏補缺」，修補大的劃痕，實驗證明，演算法對通過人工標註的結果進行再修復，所達到的效率和效果都是最優的，而這一點也恰好體現了火山引擎「雖有先進音影片技術，卻不唯技術」的理念。
鋸齒修復：針對影片下取樣時出現的鋸齒線條和頻譜混淆，有針對性設計了一個獨立演算法。
鋸齒修復所要解決的關鍵問題是鋸齒定位。與劃痕不同，並不是每一張影像都會出現鋸齒線條。火山引擎多媒體實驗室團隊經過多次嘗試和實驗，發現鋸齒效應通常是由數字化掃描不精準引入的，目前業界的修復演算法和工具都沒有相對應的解決方案。所以火山引擎針對性地設計了一套優化演算法，使鋸齒的修復效果得到了很大的改善。
SDR To HDR：針對品質較低的影片，從色彩、對比度、細節及畫面層次等維度進行分析，對低質問題進行自適應處理，提高源影片的品質和轉碼後影片品質。
無論是產業界，還是學術界，從現有的SDR影片中恢復更高動態範圍和色彩廣度的HDR影片的需求一直在持續增長。一般來講，如果標準動態範圍沒有太大提升，很可能就會出現畫面像素過多，品質不高，且無法呈現更豐富的層次和細節等影響。與SDR相比，高動態範圍（High Dynamic Range，HDR）可以提供更豐富的細節，更寬廣的色域和更自然的色彩過渡，呈現更高品質的的影像。
火山引擎，與生俱來的影片能力
火山引擎是字節跳動旗下的企業級技術服務平台，圍繞音影片技術搭建了影片點播、veImageX、企業直播、影片直播、實時音影片、雲編輯、智慧處理於一體的影片雲產品矩陣。影片雲屬於火山引擎中台層面的服務，其最大的優勢是擁有抖音、西瓜影片、今日頭條等實戰場地，能夠在豐富的場景下不斷迭代、打磨音影片能力。
火山引擎影片雲產品負責人Keith此前在接受媒體採訪時表示，「我們會在抖音和西瓜場景中，不斷去探索影片播放體驗的極致，同時解決這個過程中出現的大規模問題。而這些問題的解決方案，我們會把它沉澱成方法論，然後融合到火山引擎影片雲的產品中去。」
所有音影片產品發展到一定規模後，其突破點一定是「細節」的處理，早在2016年，字節跳動就上線了大規模測試平台A/B測試，為字節跳動演算法和產品提供檢驗和優化的平台。A/B測試連接抖音、西瓜影片等全線業務後，每天開展上萬場測試，單日新增實驗數量最高超過了1500個，覆蓋500多個大大小小的業務。此次4K修復技術用到的智慧插幀、智慧超分、智慧降噪等演算法已經過了A/B測試及多平台多場景的千錘百鍊。
標準被譽為高科技產業王冠上的寶石。誰在標準中擁有更多專利，在產業中就擁有更大的話語權與主動權。正因為如此，各大科技巨頭都高度重視標準制定，將相關專利技術視為核心資產。
在國際標準H.266/VVC貢獻者排行榜上，字節跳動排名第三，僅次於高通和華為。
作為一家沒有參與上一代影片編解碼標準開發的互聯網公司，字節跳動實現了從標準跟隨者到制定者的跨越。而在新一代影片編解碼標準制定過程中，字節跳動發起的100多項技術提案獲得H.266/VVC標準採納，形成一系列原創性技術。
除了標準化工作的重要貢獻之外，火山引擎多媒體實驗室團隊在H.266/VVC商業化落地方向也做出了積極的貢獻。
早在2019年6月，火山引擎已經完成滿足點播場景應用的自研編碼器BVC第一個版本，該版本與x265編碼器相比，在相同計算資源下，針對大量的1080p高清影片，BVC編碼器可以將平均碼率下降33%。之後，BVC經過不斷迭代，性能又有大幅提升。除了自研編碼器，自研解碼器也已經配套完成，在高端手機上可以做到實時流暢播放高清和超高清影片。
H.266標準之後，火山引擎對影片編碼技術仍在進一步探索，目前側重的兩個方向，一個是基於新興深度學習的影片壓縮（也包括深度學習和傳統混合影片編碼框架的結合），另外一個是基於傳統混合影片編碼框架技術的繼續挖掘。儘管還只是剛剛開始，但已經取得了突破性的進展：
基於深度學習的自適應濾波器DAM演算法，獲取15%以上的性能增益；
基於混合影片編碼框架融合多項技術，獲得超過13%以上的性能增益。
其中，自適應濾波器(DAM)演算法，主幹是基於殘差單元堆疊的深度卷積網路，輔以自適應模型選擇以最大程度適應特性複雜的自然影片。所謂殘差單元是指通過引入跳層連接，允許網路把注意力放在變化的殘差上，這與影片影像幀之間的殘差有異曲同工之妙，比如武林高手決鬥，「劍光一閃」，每一幀影像絕大部分內容是相同的，閃動的劍光形成殘差，這也是影片編碼壓縮的重點關注對象。
實驗結果顯示，相比H.266/VVC最新標準，字節跳動的DAM解決方案能夠為影片編碼性能帶來顯著提升，亮度訊號Y可實現10.28%的性能增益，兩個色度訊號U和V，性能增益也分別達到28.22%和27.97%，在影片品質有所優化的同時，至少還可縮小13%的數據體積。
火山引擎多媒體實驗室的各項研究成果，也將通過BVC編碼器的升級換代投入應用，包括抖音、西瓜影片、今日頭條等 App的影片類內容處理，以及雲計算、雲遊戲等基礎架構領域，為用戶帶來更高清畫質、更流暢的影片體驗。
小結
火山引擎定位為字節跳動對外提供技術服務的窗口，從統一的基礎服務、技術中台、智慧應用和行業解決方案四個方向面對B端提供技術支撐。在過去九年，字節跳動沉澱了大量增長方法、工具和技術能力，這些能力在火山引擎上有機地組合成為了 60 多款單品，被統稱為『智慧增長技術』。如今數字化轉型和企業服務行業迅猛發展，火山引擎『智慧增長技術』亟需走向市場，接受打磨和考驗。
火山引擎啟動大規模修復經典4k中影片，擴大了其音影片能力的應用範圍，同時也為推動中國文化遺產保護做出了貢獻。老電影修復是一項與時間賽跑的「搶救工作」，很多珍貴、重要的經典影片遺產再不修復就毀了。 2006年，中國電影資料館牽頭啟動「電影檔案影片數字化修護工程」項目，率先開始了發現、收集、拯救、保存中國膠片電影的工作，截止目前已經修復了500多部2K以上的國產電影，但要想贏得這場「競賽」，提升AI技術能力終究是根本解決之道
