黄家驹演唱会31年后重映！1小时播放破亿
一场没怎么预热的演唱会，在抖音直播间里火了。
开场10分钟，观看人次就突破1600万，1小时后飙升到1亿以上。
而这场演唱会，其实是从31年前穿越而来。
1991年，Beyond乐队首次登上红磡体育馆的舞台，初次登台就铸成经典。
如今，时光流转，这场演出在2022年的夏天在直播间里，通过手机屏幕和上亿人见面。
不过令人意外的是，尽管演唱会的母带已经称得上是“老古董”了，但是直播间播放的画面却没有糊成渣。
无论是黄家驹脸上细微的表情，还是黄贯中斗琴时上下翻飞的手指，歌迷们都能从手机这样的小屏幕上看得一清二楚。
△动图效果略有压缩
如此清晰的效果和细节呈现，让不少人恍惚间仿佛重回了90年代，引得歌迷直呼“Beyond精神永存！”
更值得关注的是，这种精神和情怀背后，提供核心支撑的是正在走向规模化商用的AI修复技术。
众所周知，Beyond这盘演唱会影碟录制于90年代，当时的技术设备都还十分有限。
就拿画面来说，能达到的水平只有540p、25FPS。
音质方面，也会受到现场噪声大等因素影响，最终录下的歌声也会大打折扣。
而Beyond的修复，画面和音质都达到了一种新水准。更重要的是，这场看上去工程浩大的修复，其实只花1个星期就搞定了，其中绝大部分还都是由AI“直出”的。
这种技术和效率，也让更多人潜在的情怀寄托和需求，得到释放。
是的，AI修复正在从黑科技成为日常，也是时候更清晰地了解背后的技术原理了。
“细节到眼线都看清了”
其实这几年，大众对AI修复已经不再陌生。
去年，央视动漫和上海美术电影制片厂的多部经典动画通过AI修复技术，画面清晰度可以达到4K水平。
不过和过去的一些修复工作相比，这次修复演唱会录像，AI还着重注意了这3个方面：
多帧去交错人像修复亮度、色彩、氛围调节首先来看多帧去交错。
这里先要普及一个概念：什么是去交错？
早期由于设备处理速度或者带宽限制的问题，不少视频录像都是使用交错式信号。
也就是将整个画面平均分成一定数量的横行，两个场分别显示画面的奇数行和偶数行。
这样一来，设备的缓存和处理速度要求都能减半。
而利用“视觉暂留效应”，两个画面可以在快速播放过程中呈现出完整的画面。
不过，随着显示设备不断进化升级，如液晶显示器等都只支持逐行扫描。
这就导致老旧影片在新设备上播放时，会出现非常明显的闪烁。
所以，需要使用去交错的办法，来将隔行扫描的信号转换为逐行扫描信号。
传统常见的去交错方法，一般是把连续的两个场直接拼为一帧，不做任何修改。
但是每个场之间的拍摄时间还是会存在细微变化，如果这一刻拍摄物体正在移动，就会导致去交错后的图像会出现“拉丝”问题。
针对这个问题，AI这次使用的是基于运动补偿的多帧去交错算法。
和传统方法相比，这种方法的大致原理是根据邻近场使用动态估计，去预测画面中的物体移动并得到动态向量，根据前一个场及动态向量就能重建出一个新的场，然后将此两个场并完成反交错。
它的特点是泛化性更强，细节处理能力更好。
从结果来看，修复后吉他手的手部伪影完全被去除了，轮廓也清晰了起来。
第二个不同之处，便是对人像的着重修复。
演唱会录像中势必会存在大量的人像镜头，很多还是怼脸大特写，歌迷格外关注的镜头往往也是这些部分。
但受限于当年的拍摄设备水平，最终呈现的效果很容易是人和背景糊成一片，五官轮廓也不清晰。
针对这一问题，这次修复中使用了火山引擎自研的自适应人像增强算法。
这种方法基于深度学习模型，会在消除人脸整体的模糊和压缩损伤的同时，进一步对五官进行重建。
比如之前不少网友说，修复后影像里，黄家驹的眼睛都有了光、眼线都能看得一清二楚。
这就是因为算法对眼睛部分进行了重建，并补足了更多细节。
除了五官以外，这一算法还能兼顾皮肤纹理、头发丝等方面的细节处理，可以让修复后的人脸更加真实。
此外，考虑到演唱会中拍摄到表演者的脸部不只有正面，算法还考虑到侧脸、俯视、仰视、被话筒遮挡等多种情况，可以解决很多极端情况下的修复问题。
第三方面，体现在色彩亮度增强上。
据技术提供方火山引擎介绍，原片中其实存在大量过曝、死黑场景，色彩还原度也不够高。
而这些问题不是简单调节亮度或色彩就能解决的。
就拿死黑场景举例，因为影片本身还存在很严重的底噪，如果直接把偏暗场景调亮，底噪也会被同时放大。
至于色彩方面，还需要平衡好修补褪色和保留复古感两方面因素。
在这方面，火山引擎是根据具体片源的效果，依据美学评分对不同方面进行调整。
并能根据不同帧的色彩统计信息进行分区域自适应亮度增强，从而找到最佳的明暗平衡效果。
据技术人员介绍，以上几方面工作几乎都是由AI完成的，人工参与的只有一些调参部分。
甚至连对画质的评估，AI都参与了一波。
这次使用了一个针对画质的VQScore算法，对影片效果进行评估。
该算法在ICME 2021的“压缩UGC视频质量评估”比赛中，获得了“无参考视频质量评价（NR-VQA）MOS赛道”第一名。
拯救古早收音bug
视频修复方面细节拉满，不过既然是演唱会，光修复画面可不够，音质体验更是拨动观众心弦的关键。
受限于当时的技术水平和录音设备，在原版影碟中，其实存在各种各样的音质问题。
比如：
噪声干扰：设备、环境的噪声影响音质带宽不足：设备、压缩算法等导致音频截止频率低响度问题：响度问题导致听感不适针对这些问题，此次火山引擎音频技术团队在Beyond演唱会的音质修复方面，主要用到了三种算法。
音频降噪算法
首先，来看看音频降噪算法带来的效果。
由于90年代演唱会收音条件有限，现场的环境又比较嘈杂，原版音频中噪声是比较明显的。
而修复之后，黄家驹的声音和音乐声变得更加清晰、干净。
这一点在频谱图上表现得很明显：降噪前，音频频谱较为浑浊；降噪后，频谱图清晰了不少。
值得注意的是，传统的降噪方案通常针对人声，在演唱会这样的场景里，容易“误伤”音乐本身。
因此，在为演唱会设计降噪算法之初，技术团队就将降噪导致的音乐失真问题考虑在内，通过在训练时加入音乐数据等方式，实现了对音乐场景和人声场景的兼容。
也就是说，可以在保留人的说话声、唱歌声以及音乐本身的同时，抑制其他噪声。
音频超分算法
噪声之外，由于演唱会拾音设备、录制硬件以及存储压缩等技术原因，声音带宽受损（即带宽变窄）同样会影响听觉体验。
因此，修复团队还引入了音频超分算法。
该算法主要对演唱会中人声的部分进行了频带拓展，以使人声更加清晰。
从蓝框部分可以看到，经过超分，原始音频的高频部分得到了拓展和增强。
响度算法
最后，是通过音源分离算法提取演唱会中歌声的部分，然后用响度算法对响度进行调整。
这是因为演唱会现场拾音的过程中，可能会出现人唱歌的声音被乐器、环境声盖住的情况。
单独提取唱歌部分的人声，进行响度调整，然后再与原音频混合，能够使整体的声音大小听上去更加舒适。
一个幕后小故事是，无论是画质修复还是音频修复，都需要人工来进行最终质量评估。
而修复团队的程序员们恰好都是听着《海阔天空》、《光辉岁月》长大的一群人。
因此处理Beyond演唱会的旧影像时，修复人员们都是以粉丝的心态，一遍又一遍不断地去听、去看修复效果，力图用算法把当年红馆的热烈氛围在今日重现。
他们的标准说起来也很简单：
我得先觉得身临其境了。
另外，值得一提的是，修复人员谈到，本次修复基本都是AI搞定的。目前，这样的技术能力已经被集成到火山引擎对外开放的智能处理、音频技术两个产品中。
AI修复技术的B/C面
当一场场线上怀旧演唱会在网上掀起热潮，AI修复技术也再一次成为技术热点。
并且在一次次的“出圈”之中，这类“网红”技术的发展路径和商业化前景，逐渐清晰明朗起来。
第一阶段，是新兴技术的探索期。
在这个阶段，老片修复的相关技术手段从实验室走向民间。以B站up主大谷的视频为代表的个人修复作品，屡屡吸足眼球，引发热议。
△大谷修复作品
伴随着云与AI的进一步结合，各大科技厂商开始把“网红”引入家门，这也就开启了AI修复技术的第二阶段：技术工业化进程中的试验期。
这时候，开始有更多工业级的修复项目出现在大众眼前，但仍旧有“单个项目、单点突破”的特点。
比如此前西瓜视频和火山引擎推出的“经典视频4K修复计划”，就是通过工业化的AI技术手段，成批量地修复《哪吒传奇》、《黑猫警长》等百部经典动画。
而现在，你或许不知道的是，这样的技术不再仅仅停留在公益项目、To B产品的阶段，甚至打开抖音，你也能用上。
比如画质修复的相关算法，就已经被集成到抖音个人用户的作品发布功能当中。即使没有专业的拍摄设备，用户投稿的作品经过AI针对清晰度、色彩、瑕疵、失真等问题的自动修复，也能达到不错的效果。
由此可见，在长期的技术积累与实践之后，AI修复技术作为一种成熟技术产品的第三阶段——大规模商用落地，或许已经拉开帷幕。
尤其对于字节跳动这样的厂商而言，其旗下拥有抖音等每天都会产生海量音视频UGC内容投稿的平台。
从修复动画到Beyond演唱会，一系列技术问题的突破和解决，最终都会直接在产品层面上有所体现。
并且不仅在云这一侧面向B端，也已经在C端显现出潜能。
实际上，这也是AI技术不断普惠、下放过程中的一个典型案例。
咱们作为普通用户，受益其中，自然喜闻乐见。
说说你最希望AI修复的“老东西”吧？
