《葫蘆兄弟》、《黑貓警長》等被4K修復 “醉翁之意”在哪？
葫蘆娃、黑貓警長……你們的童年回憶被承包了。
隨著 4K 修復技術普及，每過一段時間，人們就能重溫高清版的「回憶」。
2019 年北京國際電影節，4K 修復版《2001 太空漫遊》開票，5 秒售罄；2020 年，《哈利波特與魔法石》4K 版上映，4 日票房突破了 1 億元。
大銀幕上的光影僅是回憶的一部分。葫蘆娃、黑貓警長、哪吒、大頭兒子和小頭爸爸、舒克和貝塔……這些形象已定格成表情包和網路梗。
不久後，這些童年回憶，也同樣會以 4K 高清的模樣，重新出現在你的手機螢幕上。
這是西瓜影片在 4K 修復上的「大動作」，背後的技術承擔方是字節跳動面向企業的技術服務平台：火山引擎。
簡單理解，經過了多年 to C 服務的積累，火山引擎要把字節跳動最好的技術開放出去，服務企業的數字化升級。
影片技術是字節跳動多年來積累的重要內容。「經典中影片 4K 修復計劃」，是西瓜影片與火山引擎共同發布的公益計劃。
這個計劃將在一年內用技術手段，4K 修復百餘部經典中影片。
修復後，人們可以免費在西瓜影片 App 上觀看這些動畫片。目前，已經有《葫蘆兄弟》、《黑貓警長》、《大頭兒子小頭爸爸》等 6 部修復過的動畫上線。
首批合作夥伴有央視動漫和上海美術電影製片廠。
名單內的動畫除了葫蘆娃、舒克和貝塔這樣 80、90 後的童年回憶公約數，還有中國動畫史中值得反覆凝視的經典：中國第一部水墨畫風動畫片《小蝌蚪找媽媽》（1960），帶有敦煌畫風的《九色鹿》（1981），小眾的木偶動畫片《鏡花緣》（1991）……
字節跳動多年技術沉澱如何發揮最大的效用？
火山引擎或許可以給出一種答案：一邊將技術服務企業實現商業價值，一邊服務公益計劃實現社會價值。
4K 修復經典動畫片更有一層「醉翁之意」，讓原先「潤物細無聲」的中台技術獲得展示。
4K修復技術秀「肌肉」人們口中常說的 4K 解析度，是指顯示器幕達到 4096×3112 的像素級別。它的解析度是 2K 的四倍。2003 年，加拿大一家公司推出首個商業用途的電影攝像機，從此 4K 逐漸普及。
老動畫片受限於製作年代，清晰度早已不適應人們的觀看習慣。
幾十年前的老動畫片，像《小蝌蚪找媽媽》、《九色鹿》還是用膠片進行拍攝。將年代久遠的膠片修復到 4K 的清晰度，其中的難度可想而知。
從膠片的物理修復做起，先要對原始膠片上的污垢、劃痕、掉色等部分進行修復，再將膠片轉錄為磁帶，才能進行數字修復。
數字修復的過程中，增加清晰度、補上缺失幀數等技術之外，還需要匹配原片的藝術風格，以保持「修舊如舊」的效果。這樣才不僅實現了「修」，還做到了「復」。
動畫片《布谷鳥》修復效果對比
面對這樣的勞動密集型工作，火山引擎提供的 AI 功能可以幫助修復師減輕不少勞力，甚至能夠比傳統的修復方式更有優勢。
火山引擎品牌在今年 6 月份正式發布，4K 修復用到的技術都屬於影片雲產品。
作為中台技術，比起前端的推薦演算法、訂製內容，影片雲一般都隱藏在後方，支援內容傳輸和播放，鮮少為人感知。
藉由「經典中影片 4K 修復計劃」中的具體環節，人們可以一瞥這些技術讓視覺體驗升華的能力。
影片常見的資訊損耗就是噪點和劃痕，其來源方式也各不相同。
一方面，膠片存放過程中會有物理損耗，這會帶來噪點；一方面，轉錄到磁帶過程中也可能增加新噪點和劃痕。
對於這些瑕疵，火山引擎結合了傳統訊號處理和機器學習演算法，讓修復更為高效。
老膠片的第一道工序是物理修復。即使經過物理修復，膠片上的劃痕依然會對畫面有損傷。傳統人工修復能夠保證品質，但是成本極高，速度也很慢。
火山方案採用演算法+人工兩道工序。演算法能夠對 95% 的瑕疵進行修改，對藝術效果或者影片內容的困難部分，則通過人工來進行判斷。
解析度升到 4K 之後，原有的畫質一定會資訊量不夠。比如細節不足，幀數偏少而不夠流暢，暗景畫面模糊。
火山引擎的「智慧超分」和「智慧插幀」功能在提升畫面質感上可以發揮所長。
人工修復中，如果遇到油污、劃痕、變形等問題，修復師可能一天只能修 24 幀，也就是一秒。
如果是夜戲、煙霧戲等模糊的畫面，畫面資訊本身不足，修復困難極大。用深度學習，能夠根據已有影像建模，做到「修舊如舊」。
像《葫蘆兄弟》，人物近景是剪紙風格，遠景是水墨筆觸。演算法可以智慧分辨不同的風格來進行處理，提升前景的清晰度的同時，又能保留遠景的朦朧感。
應用端打磨技術
「智慧超分」、「智慧插幀」屬於標準化功能，已封裝成可調用的產品，向企業客戶開放。
除此之外，西瓜影片也提供了內測，個人帳號可以在「影片剪輯」菜單中點擊體驗。
修復中也會遇到新問題。比如，在老影片掃描轉數字化的過程中，由於取樣演算法欠佳，導致畫面中的線條出現鋸齒。
由於這個問題是數字化掃描階段帶來的，常見演算法和修復工具不能很好地處理，火山引擎就針對這種場景單獨設計了演算法。
這種處理問題的能力，與火山引擎對抖音、西瓜影片進行技術支援的歷練有關。
在影片雲產品負責人 Keith 看來，影片技術中台的最大優勢，就是與生俱來的影片播放經驗。簡單說，就是「同一套人馬做 to B 和 to C」。這讓技術團隊對 C 端的需求更敏感。
經過疫情催化，音影片企業級服務的市場更加成熟。
企業級服務商中，除了騰訊、阿里雲這樣的老牌互聯網大廠之外，聲網這樣專註音影片實時互動的技術商得到更多關注。
在此背景下，火山引擎在 C 端的歷練，成為了獨特的服務能力。
比如，在打磨播放體驗時，團隊意識到播放第一幀「滑順感」的重要性，於是率先開發了「零首幀」技術。
首幀即是影片播放的第一幀。當你被一個影片封面吸引，點擊播放到首幀渲染出來的耗時小於 200ms 時，基本就沒有延時和卡頓感。
影片雲團隊在這個指標上的追求是小於 100ms。
人類無感的 100ms 的背後，技術程式上需要完成「頁面創建」、「網路連接」、「影片解碼」、「播放器策略建立」四個環節。
技術團隊針對每一個環節都做了技術優化，才實現了播放體驗上的「零首幀」。
這項技術已經運用在客戶服務上。
火山引擎與足球社區 App「懂球帝」共同建立了影片雲解決方案，幫助「懂球帝」解決了播放中首屏卡頓的問題。球迷在瀏覽 App 中的影片時，首幀時間降低 30% 以上。
音影片技術能夠縮短時空距離，因此，遠程會議、在線課堂、電商直播是更具潛力的應用領域。
在 2020 年疫情尚未消退期間，財新傳媒年度峰會在北京線下舉辦。
這是一次多時空串聯的任務，4 天議程中有 50 多場直播，其中既涉及海內外嘉賓連線，又涉及峰會全程的線上直播。
火山引擎技術團隊做到了高清影片連線，全程無卡頓。這背後的技術，是實時通訊技術（RTC Real-times comunication)。
各種趨勢表明，RTC 將會成為下一代互聯網通訊標準的基礎和模式。
未來的影片：流量少，更清晰
如今語音和影片功能，已經基本滿足日常實時通訊，但是未來各種場景下的時空串聯，對技術提出更高要求。
同步與清晰度的提升帶來更大的頻寬，與之匹配的下一代的編碼壓縮技術也被需要。
影片編碼的最主要目的是數據壓縮，讓存儲和傳輸更便捷。目前，新一代國際影片編解碼標準（H.266/VVC）已正式公布。
標準貢獻者排行榜上，字節跳動排名第三。排行榜前五的企業中，字節跳動是唯一一家沒有參與上一代標準開發的公司。
這份成績來源於「火山引擎多媒體實驗室」，這個團隊至今已經研發了基於 H.266 的編碼器 2.0 版本——BVC2.0。
使用這個編碼器，同樣品質的影片內容，可以節約 8%-15% 的頻寬和存儲成本。
這意味著，同樣網速和頻寬的條件下，在手機上能用更少的流量享受更清晰的影片。未來的雲遊戲、VR 應用如果想成為現實，也需要依靠新編碼技術。
自研H.266的歷史
除了參與標準制定、開發編碼器，火山引擎還站在全鏈路傳播的角度來思考技術。
比如，在抖音 App 上，生產端和播放端可以按照不同的需求處理。
為了照顧投稿率，生產端需要降低碼率；為了照顧觀看體驗，播放端需要提升碼率。為了實現全局的最優解，各個環節的不同策略配合，需要更豐富的方案。
應用場景是影片技術的催化劑。MR、VR 已經想像了豐富的場景，但這尚是遠景。
從眼下直播、連線、點播的不同需求開始，技術也會在實戰中反覆被打磨，走到創新的場景中去。
