Zoe Liu：传统算法与深度学习各有所长

• 2019 年 12 月 1 日
• 筆記

第一次MSU视频编码大赛就取得了“主观评分”第一，微帧团队到底做了哪些创新的尝试？深度学习真的是编解码的未来吗？LiveVideoStack通过邮件采访了微帧联合创始人Zoe Liu，向我们揭开参加MSU视频编码大赛背后的故事。

文 / ZoeLiu

策划 / LiveVideoStack

LiveVideoStack：Zoe你好，这是第二次和你通过邮件采访的方式对话，和上次对话不一样，你的身份已经发生了变化。能否借此向LiveVideoStack的读者介绍下自己？

Zoe：嗯，上一次我还是在谷歌做软件工程师，现在已经是微帧团队的联合创始人了。我是去年2018年7月从谷歌离职，跟我的合伙人朱政一起创建了微帧科技（Visionular）。时间逝去还是蛮快的，我从谷歌离职时，正好是开放媒体联盟（AOM）新一代开源视频编码标准AV1刚刚结束并推出的时候。我们微帧，现在在杭州和硅谷同时设置有研发团队，并在北京设有专注于产品、运营和市场的团队。我们主要致力于视频AI+编码和处理技术的打造，提供面向企业的相关产品和服务，力图视频带宽需求更小、画质更清晰的极致解决方案。我们在做AV1编码内核优化的同时，也对H.264等主流编码标准，推出了智能编码和处理引擎，结合AI技术在视频处理和编码的多个环节，推出了不同形态的产品，包括私有云部署解决方案，以及公用云SaaS方案的尝试。

在微帧之前，我曾就职于谷歌5年，是AOM/AV1的主要贡献者之一。从学校到现在，对图像/视频编码标准及相应编解码器优化技术，有相对比较长时间的研发经历。我曾参与过苹果公司的FaceTime、TangoMe跨移动平台VideoCallAPP、以及GoogleGlass的VideoCall研发和最终的delivery。之前还曾在一些实验室工作过，包括BellLabs,NokiaResearchCenter,SunLabs，以及HPLabs。

我跟LiveVideoStack音视频社区算是很有缘份吧。2017年10月是LiveVideoStack推出的第一次技术大会，当时我还是代表谷歌来做AV1相关的Keynote，结果机缘巧合碰到了我的合伙人，也看到了国内音视频领域的迅猛发展，此后一步步，改变了我的职业道路，开始加入了创业者的行列。之后的每一次LiveVideoStack大会，我都没有缺席过。LiveVideoStack目前也成长为国内公认的音视频领域最有影响力的技术社区了。我们很期待跟LiveVideoStack一起的成长。在这里，也很期待与业界前辈和朋友们更多的交流，一起推进技术的演进和发展。

LiveVideoStack：Visionular的AV1Codec在2019年MSU视频编码大赛“主观评分”中排名第一，也是此次参赛的唯一的AV1代表。能聊聊这背后的故事吗？

Zoe：前面有提到，我们团队的核心，是对视频编码以及将AI应用于视频编码算法和技术上的打造。我自己从谷歌AV1团队出来，经历了AV1从无到有的整个周期，我们微帧也是中国市场上与爱奇艺同时加入AOM最早的两家会员。

我们去年团队成立伊始，就有跟谷歌合作，对于AV1目前最具代表性的开源codebase、名为libaom的优化，有比较多的贡献。libaom里面有200条以上的代码贡献，均来自于我们的团队成员，既包括对AV1标准本身的贡献，也有对libaom编码器的早期加速。与此同时，我们参与了AOM比较多的生态建设。AOM前主席MattFrost先生在去年、今年两次莅临杭州，都有跟我们的团队当面交流。

AV1不仅是开源的编码标准、不涉及版权，编码工具打造上也具有一定的先进性，MSU早些时候的评估数据，即呈现了AV1相对于H.265、VP9等主流编码标准的标准优势。另外，AOM成员，包括有海外主要的视频内容制作商，诸如YouTube、Facebook等UGC平台，Netflix、AmazonPrimeVideo等PGC平台等；咱们国内的互联网巨头企业阿里巴巴、腾讯等也相继成为AOM的重要成员。

尽管AV1的生态，在标准制定不久后确实还需要一定时间的积累；其实，现在Chrome等主流浏览器都早已支持AV1的解码播放，AndroidQ也会全面支持AV1，移动端、尤其Android端的解码芯片在全力打造，再加上苹果也是AOM成员之一。我们相对对AV1的优化研发，起始的比较早，外加我们的团队在H.265等编码器优化上的积累，在AV1上的努力会相对超前一些。我们现在不仅针对点播场景，还包括直播、RTC场景，都在努力的将AV1实现产品落地。我们在技术打磨的同时，非常关注客户的实际需求。

我们在今年阿姆斯特丹全球最大的IBC媒体技术展会上，被GoogleCloud邀请，特别介绍了我们的AV1技术和相应的产品。在9月的杭州阿里云栖大会上，我们也参与了5G+视频为主题的圆桌论坛，与其他业界的学者和技术同仁探讨各类视频编码标准的发展前景。在10月旧金山举行的AOM全球第一次Summit上，我们也被AOM邀请，介绍了我们AV1的技术概况以及性能更新。这次AOMSummit的全部演讲PPT已在AOM网站上分享(https://aomedia.org/aomedia-research-symposium-2019/)，其中对AV1编解码优化发展现状，下一代标准AV2规划，以及AI+编码技术，均有一定的探讨。

我们参与MSU评估，最主要的初衷，是希望可以在MSU严格、客观的视频编码评估流程中，检验一下我们自己编码器的性能。MSU测试有比较严格的编码速度要求。即使是慢速档，包括主观评估档，他们均要求对于他们内部给定的1080p视频，在一定的机型上面，达到编码速度每秒一帧的指标。MSU这次的报名截止日期是今年3月底，当时我们还在AV1全力优化的相对早期阶段，AV1编码工具相对复杂，提速的同时保持编码性能，确实是充满了挑战的。我们能代表AV1标准参比，有我们自身的努力，同时也很感谢AV1的开源社区。AV1开源代码，包括liabom、SVT-AV1的打造，提供给了大家许多的借鉴。我们是站在巨人的肩膀上向上走的。

LiveVideoStack：我注意到Visionular只出现在“主观评分”报告中，没有出现在“客观评分”报告中，这是什么原因？

Zoe：我们的编码器优化，包括我们集中研发主力在AV1上的优化，以及我们对264编码技术和产品的进一步打磨，主要是针对客户需求推进的。我们是一家2B企业，我们的研发和技术是客户需求反推的。我们的客户最关注的，是视频的主观质量，因此我们的产品以及背后的研发算法，主要也是针对主观质量优化展开的。这应该是我们在MSU主观评估类别上表现突出的一个原因。

今年的MSU“HEVC/AV1VideoCodecsComparison2019”评估报告，分为免费版和企业版。企业版提供详尽完整的报告，可以从如下链接中付费获取。

http://www.compression.ru/video/codec_comparison/hevc_2019/

MSU近两年免费公开版，只给出基于客观质量评估指标SSIM的评估结果。如果可以看到MSU完整的客观数据报告，就会看到MSU按照3种客观质量评估指标，包括SSIM/PSNR/VMAF的详尽评估结果，包括客观质量评估类别中，我们在100个不同1080p视频上的具体编码性能数据，以及相应指标下的排名。

我们在客观质量评估中的表现，虽然没有主观质量评估类别中的结果那样显赫，却同样是有相当的竞争力的，尤其是在YComponent的PSNR数据上的表现，可圈可点。PSNR的评测数据需要在MSU企业版中才可以看到。

前面有讲到，我们参比，主要是想检验一下我们自己的编码器，并没有为比赛而比赛的想法。MSU评估分为多个类别，我们今年主要参加两个类别：一是主观质量类别评估，另一个名为Rippingusecase类别，主要是指慢速档。这两个类别，均要求视频编码速度必须达到1fps，即一秒内要完成对指定1080p视频一帧图像的编码。对于AV1来讲，这个挑战还是蛮大的，因为AV1相比VP9，增添了70+新的编码工具，编码决策复杂度大幅提升，需要达到这个编码速度、同时保持标准优势，让AV1足够体现它的标准优势，并不是很轻而易举的事情。

我们客观指标下的数据，在一些视频序列中确实出现了badcase，一些RD曲线表现异常；在MSU主观类别测试中，应该是我们相对幸运，这些badcase并没有出现那么频繁。

MSU每年的测试评估，相对非常全面而细致，评测周期也比较长。现在看到的MSU评测结果，是我们今年3月底提交的WZAuroraAV1编码器的性能结果。我们一直在持续优化，包括编码速度、编码性能，以及编码器的多线程、内存损耗等多项指标，我们在全方位的提升。与此同时，我们在WZAurora上增添了不同的速度档，针对点播、直播、RTC实时等不同应用场景，我们均在做努力细致的打造。期待未来我们会有更好的成绩，尤其期待我们有更优质的产品，可以提供给我们的企业客户。

LiveVideoStack：你认为，AI压缩技术有可能追赶甚至超越传统的编码技术吗？

Zoe：AI多媒体压缩技术，目前在图片领域，应该是早于视频开始尝试的。尤其是基于各种深度神经网络模型的图片压缩尝试，在颠覆传统的图片编码技术，取代小波变换、DCT变换，并取得了与传统图片编码框架相近或相当的编码性能。目前完全基于机器学习的图片编码技术，还没有进入编码标准，也没有非常成熟的产品落地，主要受限于编解码的复杂度，但确实表现出一定的潜力。

机器学习应用于视频编码，业界一直有许多的尝试，包括AV1开源编解码codebase中，会有不少实现范例。大家可以checkAV1的开源codebaselibaom中每次贡献的CL（ChangeList），在comment中查询NeuralNetworks等关键字，应该会看到不少机器学习的实际应用，包括码控的优化，RD指标的快速估算，基于NN的快速编码算法等。不过视频相比图片，增加了一个时间维度，相应编码算法的overall复杂度是数量级上的区别。在最新视频编码标准VVC（akaH266）、AVS3、AV1等编码工具提案以及相应参考模型的开源实现中，我们了解到的基于机器学习的AI算法工具，主要是在传统混合编码框架下（运动估计+2D变换），对于编码各个模块的进一步优化，并没有颠覆视频编码的基本架构。

AI的出现，5G的大规模推广，应该会给视频带来许多新的展示方式，包括Stadia云游戏平台的推出，未来VR与全景视频的深度推广，视频编码后续应该会与AI技术有更多的耦合，尤其是编码与视频分析、处理的综合自适应运用。不同视频内容的细分类，有可能会出现更为专注的编码工具，比如针对屏幕内容、游戏内容、动漫内容等的特定编码工具，以及基于ROI（感兴趣区域）的编码算法等，可以相对自然的引入视频内容的分类以及特定物体的检测，这些都给AI与编码的结合提供了比较广阔的空间。

我们是以技术打造为核心的企业，很多时候，我们会比较看重传统视频编码、处理算法，与机器学习算法的结合。我这里给大家举一个实例：我的一位清华同系创业的师兄，几年来一直在专注打磨眼球跟踪、FOV检测的穿戴式软硬件一体的产品，他们目前已经可以做到识别出人在读书时眼睛在文字上扫描的pattern（包括移动速度、移动平稳度、变换方向等），也可以在博物馆等大空间场景下检测出眼睛所关注的物体。他们目前的核心算法，并没有用到当下比较hot的深度学习技术，而是基于传统的计算机视觉和模式识别技术实现的。我用这个实例，是想突出下传统算法的价值和潜力。大家公认的机器学习应用比较成功的几大场景，包括计算机视觉、自然语言处理（NLP）、大数据分析等，而在计算机视觉这一机器学习如此被追捧的领域，传统算法同样拥有许多突出的优势。视频编码，其实是有更多将深度学习和传统算法可以融合的领域，值得我们去探寻的。

LiveVideoStack：最近我体验了TutorABC的AV1客户端（浏览器），上直播课的延迟完全可以接受，但只能在PC端应用，无法部署在移动设备上。关于AV1的移动端硬件编解码支持有最新的消息可以分享吗？

Zoe：很开心听到你们也体验了AV1在TutorABC平台上的实用展示。我们与TutorABC团队合作，一起将AV1RTC档推到了他们的在线平台，应该是在线教育场景中AV1的第一款部署上线产品了。在线教育大课场景一般是以教师端视频为主，并且PC是老师主要采用的设备，可以充分支持AV1编码；解码端我们则是采用开源AV1解码器dAV1d，在Android和iOS移动设备上支持是没有问题的。

AOM成立之初，AV1最早的版本是由VP9衍生而来，一定意义上讲，VP9可以看成AV1的一个子集。将AV1中计算复杂工具悉数关掉，即可推出AV1编码快速甚至实时档，但与VP9的编码性能可能只会差之毫厘。我们将AV1推到RTC场景，是希望保持AV1的标准优势，同时缩短首屏时间，减少编码所需占用的CPU以及memory资源。我们力求相同质量条件下，可大幅降低码率以减少视频卡顿，或从另外的角度，相同带宽、码率条件下，可提供更加高清的画质，从而最终服务于用户体验的提升。

视频目前在移动端上的实用，确实占比是主要的。AV1开源软件解码器dAV1d，已经在移动端表现了相当大的潜力。我们当然也很期待，可以把AV1软件编码方案尽快推到移动端，但还需要一段时间的打磨的。

硬件编解码器的支持，尤其是硬件解码器在手机终端的支持，是AV1生态推广中非常重要的一环。AOM中的主要硬件厂商，都有在研制AV1编解码相关芯片。其中Realtek、Broadcom等，是比较早推出AV1硬件解码IP原型的厂商。高通（Qualcomm）、联发科（Mediatek）等非AOM成员厂商，应市场趋势，也同样在打造相关的芯片方案。我们从手机厂商了解到的讯息，解码芯片2020上半年预计会大规模推出，尤其是针对Android平台的。iOS上的支持，以苹果的风格，永远都会是在其产品已经完全ready时才会公诸于世，不过苹果早已是AOM成员，一定程度上体现了他们对于AOM/AV1这一开源编码标准的支持立场。在已经正式开始讨论的AV2编码标准前期策划中，苹果也是AOM中非常活跃的一员。

另外，也有业界人士提到，电视终端，有可能先于移动端，推出AV1的硬件显示设备。

编码芯片，包括面对IPC、移动手机终端的芯片产品，应该会接踵而至的。业界早有注意到，包括谷歌、华为海思等团队，很早就开始跟进AV1的标准制定，跃跃欲试于AV1编码芯片的打造了。我们也直接了解到，其他厂商的AV1编码IP和产品，也已经跟市场上相应的终端客户以及云厂商，在实际售卖交易阶段。