从0到1自研300+算法

鱼羊 萧箫 发自 凹非寺
量子位 | 公众号 QbitAI

中国队在技术竞赛这事儿上，真是大发了：

就在刚刚结束的一场音视频领域国际顶级比赛中，来自中国的技术团队，一口气包揽了全场所有冠军！

这样的画面，出现在MSU视频编码器大赛上。这一赛事至今已走过十几个年头，是视频编解码领域全球权威赛事，被外界评价为“行业发展的风向标”。

刚刚揭晓结果的的FullHD（全高清）赛道，本次共设置1/5/30 fps三个速度档位，每个速度档位有5个关键指标，总计15个关键指标。腾讯编码器包揽了全部15项第一。其中，腾讯自研编码器Tencent266夺得12项第一，第一总数最多。

在所有标准（含H.266/H.265/AV1）编码器中，Tencent266更是取得了3个速度档15项关键指标全部第一的优异成绩。

此外，腾讯Tencent-TVC编码器取得6项第一，Tencent TXAV1/V265编码器在AV1/H.265编码器中保持行业领先。

虽说技术细节听上去有些垂直，但说实话，这还真和我们所有人都关系紧密——

一句话概括，就是能让你“看片”更爽。

并且基于这些技术，这回咱中国用户的产品体验，还冲在了世界前列。

具体是怎么一回事，咱们今天就掰开揉碎，详细聊聊~

压缩视频也是个技术活儿

先说回到MSU编解码器大赛本身，竞逐在这个赛场上的，可不只是腾讯一家大厂，阿里字节，都是常客。

之所以如此受到业界关注，原因很简单：

这一大赛由莫斯科国立大学图形与媒体实验室主办，测评业界开源和私有编码器性能，经过连续17届的发展，已经成为全球最知名的视频编码器比赛之一。因此竞赛成绩，也已被视作厂商实力的一种客观评价标准。

毕竟视频编码器，简单来说干的就是一个压缩视频大小，节省带宽流量成本，同时还要保证视频画质，让观众老爷们看得过瘾的活儿，可以说是音视频厂商们安身立命的技术之一了。

在今天，你在线上看到的每一个视频，都经历过视频编码器的“瘦身”。否则，不仅是厂商们的存储、传播成本吃不消，你的手机流量也会分分钟变成负数。

在MSU编码器大赛中，又属FullHD赛道竞争最为激烈。

FullHD视频，也就是大家熟悉的1080p视频，是目前视频服务中最常见的分辨率之一。

常见归常见，相比720p、480p等其他分辨率，因为更高清包含更多像素，从技术的角度来说，要对1080p视频进行压缩就更难，视频编码器面临的挑战更大：需要更高的压缩率来降低带宽成本，同时要尽量降低画质损失。

此番FullHD比赛，同样高手如云，腾讯、百度、网易、B站都有编码器团队参赛。

具体而言，本次比赛的规则是这样的：为了更好地评估编码器在各个应用场景中的表现，首次引入3个速度档位，即1 fps（Slow）、5 fps（Medium）、30 fps（Fast）转码，分别面向不同热度（即不同转码成本）视频的转码策略，热度越高的视频值得投入更多的算力来取得更高的压缩率，以降低热度视频的带宽成本。

值得注意的是，目前常见的视频业务，主要采用的就是5fps、30fps以及附近的转码速度档位，因此这两项指标对于实际业务性能和成本至关重要。

而在5 fps和30 fps相关的10项指标中，腾讯符合最新一代视频编码标准H.266/VVC的Tencent266编码器全部位列第一。在1 fps中，Tencent266也拿下两项指标第一。

在视频编解码领域最为常用的PSNR（峰值信噪比）指标，以及业界常用来评判用户实际观感的VMAF-NEG指标中，Tencent266也全部位列第一。

在本次比赛H.266赛道中，Tencent266获得了三个速度档位15项关键指标全部第一。H.266/VVC是目前最先进、压缩率最高的视频编码标准，本次Tencent266在H.266赛道取得全面第一充分展现了Tencent266的技术先进性。

具体压缩效果对比如下：

以PSNR指标为例，Tencent266编码器在1 fps、5 fps、30 fps这3个速度档位上，相比于x265编码器，可以分别节省50%、53%、52%的带宽。

所以，腾讯团队究竟做了哪些技术准备，最终才在一众大厂团队中脱颖而出拿下冠军？

自研300+算法，搞定3大环节

要想了解这一切，还得先从冠军团队采用的H.266标准说起。

H.266，又称为多功能影像编码VVC（Versatile Video Coding），是继H.264和H.265之后的新一代视频压缩标准。

新的视频压缩标准出现，往往意味着新一代视频编解码技术的变革——

如H.262推动了数字电视落地、H.264让互联网也充满视频，H.266不仅将视频分辨率从4k提升至8k、视频类型还支持了360°全景……

但新标准的出现，并不意味着视频各行业就会立刻迎来“技术大升级”。

毕竟对视频内容生产平台而言，是否支持最新一代标准，还得先评估一波编解码产品落地成熟度；对各开发厂商而言，更是需要考虑新标准的技术专利费等问题，一不留神就容易被“卡脖子”……

为了推动新一代视频编解码技术的落地，从制定标准开始、到编解码器的研发、再到产品应用落地，腾讯决定每一步都“亲自上阵”。

首先是在标准制定上，腾讯不仅参与其中，还贡献了一波技术创新“点子”。

一方面，在负责开发H.266/VVC标准的联合视频专家组JVET中，腾讯多媒体实验室的研究人员担任了多个关键职位，如参考软件联合主席等；

多媒体实验室负责人刘杉博士，还担任了H.266/VVC标准的联合主编。

另一方面，腾讯还深度参与了H.266/VVC的标准制定，提交的技术提案中，光是被采纳的就有100余项，数量在德国知识产权平台IPlytics上显示位于世界前列。

△来源于IPlytics

最终，H.266/VVC标准相较上一代H.265/HEVC标准，在主观视频质量相同的前提下，成功将码率降低了近50%——视频传输数据更少，观看效果却完全不变。

BUT，光是参与制定标准还远远不够，距离落地还有相当的距离。

在参与制定过程中腾讯发现，相比H.265/HEVC标准，H.266/VVC标准虽然增加了不少新的视频压缩工具、大幅提升了压缩率，但同时也带来了更高的编码复杂度。

光是H.266/VVC参考软件VTM，其编码复杂度就是H.265参考软件HM的8倍多，还有不少可优化空间。

（这就类似装修时的样板房，虽然也能住，但毕竟没有自己设计得舒服）

因此接下来，就必须自研H.266视频编解码器了。

这其中的核心难点又在于编码器（也是这次比赛的重点）。

毕竟相较只需“疯狂加速”的解码器，编码器不仅得考虑“加速”，还得考虑压缩率。

鉴于已有的编码工具非常多、压缩率收益和复杂度也各异，直接使用已有技术or软件又可能被“卡脖子”，腾讯团队干脆从0到1自己打造了一整个编码器。

这个自研编码器，也就是我们看到的Tencent266。

为了打造它，团队前后一共设计了300多种编码加速和质量优化算法，在提升压缩速度的同时也能提升视频压缩率和主观质量。

以H.266标准中的多类型树（MTT）为例。这种结构虽然能提升压缩性能，但却增加了不少编码复杂度。

为此，团队提取并评估了像素特征与分块模式的关系，配合编码信息累计提出了好几十种方法对多类型树进行“修剪”加速。

实测表明，这种方法在压缩性能损失小于4%的情况下，成功将编码速度提升8倍以上。

此外，团队还对代码和内存结构进行了精心设计，并配合深度优化的汇编代码，来进一步提升压缩速度。

当然，在这次比赛之外，团队也有自研的Tencent266解码器，同时也在不断提升其效率。

△O266是腾讯内部对Tencent266的简称

最后，即使自研出了Tencent266编解码器，还得有“用武之地”，也就是将它真正落地到产品上去。

因此，在技术打磨上，团队继续不断提升Tencent266的编码速率，过去一年多里将它提速了30多倍，并在这次的MSU比赛中取得十几个赛道领先的成绩。

在产品落地上，Tencent266也早已在2021年7月就上线腾讯云，成为全球首家支持新一代国际视频编解码标准H.266的云厂商；

2023年2月，Tencent266又上线了腾讯云直播，成为业界首个支持H.266直播的云厂商。

总体来看，从视频编解码行业的制定标准、技术研发到产品落地，腾讯这次都走在了世界前列。

那么，在这项技术上取得突破，对于我们的日常生活乃至各行各业而言，又有着什么样的意义？

不止是刷视频看直播更“爽”

或许可以从三个角度来看待这件事。

首先，对日常生活而言，最直观的感受就是，看视频和看直播能变得更丝滑流畅了。

以我们看视频的分辨率为例。分辨率更高、画面更清晰的视频，需求的数据量也会更高，如8k视频更清晰，但文件通常比4k视频更大。

正如H.265标准推动了4k视频落地一样，H.266标准就是为了更好地支持8k视频而出现。

如何在观看高画质视频的同时、还能保证更多设备“不卡”，就是视频编解码器技术发挥作用的关键。

随着这项技术的成熟落地，未来在更多设备上纵享8k视频丝滑也不是梦。

而对视频产业来说，则意味着无论是视频转码、还是直播，市面上能为各种视频业务提供不同速度档位服务的产品已经出现，并具备全面落地能力。

以点播和直播为例，这两者是视频编解码技术的核心应用场景，但各自对于编码速度和编码延时的需求都不相同。

点播业务更关注编码器的压缩能力，相较编码速度，更关注压缩率和画质的情况；

直播业务则不止关注压缩能力，还需要编码速度稳定达到视频帧率以避免卡顿，同时交互式直播场景还需要极低的编码延时来保证交互可行性。

因此，如何在尽可能节省成本的情况下，为不同视频业务提供不同速度档位的服务，让大家“更省钱看得更爽”，正是视频编解码技术致力于解决的难题。

如今，最新上线的Tencent266已经支持1080p的直播能力，未来还能被拓宽到所有直播场景中。

当然，腾讯自己也有充足的落地需求。比如在腾讯视频看电视剧，就会大量用到视频编解码技术。

最后，对于科技领域而言，更是一次重要突破，意味着国内在整个视频标准这块不再会被“卡脖子”。

此前，国际主流视频标准一直被国外厂商“攻占”。

作为各厂商之间一种通用的视频规范，视频编码标准的编写，往往意味着核心技术的掌控。国际行业巨头如三星、索尼、爱立信等公司，一度从中收取了巨额专利费用。

当时，国内不少企业由于不具备相关视频标准专利，往往不得不化身“打工人”、给这些国际大厂缴纳专利费，90年代VCD、DVD企业就是如此。

不仅如此，这类技术专利的过度收费也会阻碍技术的进一步推进落地，反过来影响用户的使用。

为了在音视频技术上取得突破、真正掌握相关领域的国际话语权，这些年来腾讯一直在大力投入并发展相关技术方向。

不仅于2017年成立了腾讯多媒体实验室，而且还请来了多媒体方向的大牛刘杉坐镇。

刘杉博士本科毕业于清华大学电子工程系，在美国南加州大学取得硕博学位，曾在多家国际知名企业担任高级技术和管理职位职务，现任腾讯云副总裁、腾讯多媒体实验室总经理、腾讯视频智能创作与内容平台部副总经理、腾讯杰出科学家。

她带领团队在国际标准H.266/VVC、MPEG-5 EVC、MPEG PCC、MPEG Systems、IETF、3GPP、国家标准AVS2 & AVS3、开放媒体联盟（AOMedia）标准AV2等的制定，取得突破性成果。

同时，刘杉团队将包含编解码在内的多项多媒体核心技术，实现并应用于众多腾讯产品，并通过腾讯云，腾讯视频，腾讯游戏等广泛业务服务全球亿级用户，创造巨大的商业和社会价值。

刘杉博士表示：

腾讯（多媒体实验室）将继续推动多媒体及相关领域的国际和国家标准制定，打造音视频、互动沉浸和智能媒体核心能力矩阵，基于核心能力的产品实现，通过腾讯业务平台服务全球用户、助力各行业发展并践行科技向善。

如今，随着腾讯等更多国内厂商加入到H.266标准制定、完成技术研发和产品落地这一行动中来，被国外巨头支配的视频标准时代已经“一去不复返”。

不仅是腾讯，国内包括阿里、华为、字节、快手等各大头部厂商，都已经纷纷推出各自的H.266方案，加速推进这一视频编解码标准的落地。

未来随着这项技术的进一步落地，距离国内引领视频技术标准的时代，或许也不远了。