从0到1自研300+算法

鱼羊 萧箫 发自 凹非寺
量子位 | 公众号 QbitAI

中国队在技术竞赛这事儿上,真是大发了:

就在刚刚结束的一场音视频领域国际顶级比赛中,来自中国的技术团队,一口气包揽了全场所有冠军

这个让你「看片更爽」的领域,腾讯一次拿了15个世界冠军

这样的画面,出现在MSU视频编码器大赛上。这一赛事至今已走过十几个年头,是视频编解码领域全球权威赛事,被外界评价为“行业发展的风向标”。

刚刚揭晓结果的的FullHD(全高清)赛道,本次共设置1/5/30 fps三个速度档位,每个速度档位有5个关键指标,总计15个关键指标。腾讯编码器包揽了全部15项第一。其中,腾讯自研编码器Tencent266夺得12项第一,第一总数最多。

在所有标准(含H.266/H.265/AV1)编码器中,Tencent266更是取得了3个速度档15项关键指标全部第一的优异成绩。

此外,腾讯Tencent-TVC编码器取得6项第一,Tencent TXAV1/V265编码器在AV1/H.265编码器中保持行业领先。

这个让你「看片更爽」的领域,腾讯一次拿了15个世界冠军

虽说技术细节听上去有些垂直,但说实话,这还真和我们所有人都关系紧密——

一句话概括,就是能让你“看片”更爽。

并且基于这些技术,这回咱中国用户的产品体验,还冲在了世界前列。

具体是怎么一回事,咱们今天就掰开揉碎,详细聊聊~

压缩视频也是个技术活儿

先说回到MSU编解码器大赛本身,竞逐在这个赛场上的,可不只是腾讯一家大厂,阿里字节,都是常客。

之所以如此受到业界关注,原因很简单:

这一大赛由莫斯科国立大学图形与媒体实验室主办,测评业界开源和私有编码器性能,经过连续17届的发展,已经成为全球最知名的视频编码器比赛之一。因此竞赛成绩,也已被视作厂商实力的一种客观评价标准。

毕竟视频编码器,简单来说干的就是一个压缩视频大小,节省带宽流量成本,同时还要保证视频画质,让观众老爷们看得过瘾的活儿,可以说是音视频厂商们安身立命的技术之一了。

在今天,你在线上看到的每一个视频,都经历过视频编码器的“瘦身”。否则,不仅是厂商们的存储、传播成本吃不消,你的手机流量也会分分钟变成负数。

这个让你「看片更爽」的领域,腾讯一次拿了15个世界冠军

在MSU编码器大赛中,又属FullHD赛道竞争最为激烈。

FullHD视频,也就是大家熟悉的1080p视频,是目前视频服务中最常见的分辨率之一。

常见归常见,相比720p、480p等其他分辨率,因为更高清包含更多像素,从技术的角度来说,要对1080p视频进行压缩就更难,视频编码器面临的挑战更大:需要更高的压缩率来降低带宽成本,同时要尽量降低画质损失。

此番FullHD比赛,同样高手如云,腾讯、百度、网易、B站都有编码器团队参赛。

具体而言,本次比赛的规则是这样的:为了更好地评估编码器在各个应用场景中的表现,首次引入3个速度档位,即1 fps(Slow)、5 fps(Medium)、30 fps(Fast)转码,分别面向不同热度(即不同转码成本)视频的转码策略,热度越高的视频值得投入更多的算力来取得更高的压缩率,以降低热度视频的带宽成本。

值得注意的是,目前常见的视频业务,主要采用的就是5fps、30fps以及附近的转码速度档位,因此这两项指标对于实际业务性能和成本至关重要。

而在5 fps和30 fps相关的10项指标中,腾讯符合最新一代视频编码标准H.266/VVC的Tencent266编码器全部位列第一。在1 fps中,Tencent266也拿下两项指标第一。

在视频编解码领域最为常用的PSNR(峰值信噪比)指标,以及业界常用来评判用户实际观感的VMAF-NEG指标中,Tencent266也全部位列第一。

在本次比赛H.266赛道中,Tencent266获得了三个速度档位15项关键指标全部第一。H.266/VVC是目前最先进、压缩率最高的视频编码标准,本次Tencent266在H.266赛道取得全面第一充分展现了Tencent266的技术先进性。

具体压缩效果对比如下:

这个让你「看片更爽」的领域,腾讯一次拿了15个世界冠军

以PSNR指标为例,Tencent266编码器在1 fps、5 fps、30 fps这3个速度档位上,相比于x265编码器,可以分别节省50%、53%、52%的带宽。

这个让你「看片更爽」的领域,腾讯一次拿了15个世界冠军

所以,腾讯团队究竟做了哪些技术准备,最终才在一众大厂团队中脱颖而出拿下冠军?

自研300+算法,搞定3大环节

要想了解这一切,还得先从冠军团队采用的H.266标准说起。

H.266,又称为多功能影像编码VVC(Versatile Video Coding),是继H.264和H.265之后的新一代视频压缩标准。

新的视频压缩标准出现,往往意味着新一代视频编解码技术的变革——

H.262推动了数字电视落地、H.264让互联网也充满视频,H.266不仅将视频分辨率从4k提升至8k、视频类型还支持了360°全景……

但新标准的出现,并不意味着视频各行业就会立刻迎来“技术大升级”。

毕竟对视频内容生产平台而言,是否支持最新一代标准,还得先评估一波编解码产品落地成熟度;对各开发厂商而言,更是需要考虑新标准的技术专利费等问题,一不留神就容易被“卡脖子”……

这个让你「看片更爽」的领域,腾讯一次拿了15个世界冠军

为了推动新一代视频编解码技术的落地,从制定标准开始、到编解码器的研发、再到产品应用落地,腾讯决定每一步都“亲自上阵”。

首先是在标准制定上,腾讯不仅参与其中,还贡献了一波技术创新“点子”。

一方面,在负责开发H.266/VVC标准的联合视频专家组JVET中,腾讯多媒体实验室的研究人员担任了多个关键职位,如参考软件联合主席等;

多媒体实验室负责人刘杉博士,还担任了H.266/VVC标准的联合主编。

另一方面,腾讯还深度参与了H.266/VVC的标准制定,提交的技术提案中,光是被采纳的就有100余项,数量在德国知识产权平台IPlytics上显示位于世界前列。

这个让你「看片更爽」的领域,腾讯一次拿了15个世界冠军

△来源于IPlytics

最终,H.266/VVC标准相较上一代H.265/HEVC标准,在主观视频质量相同的前提下,成功将码率降低了近50%——视频传输数据更少,观看效果却完全不变。

BUT,光是参与制定标准还远远不够,距离落地还有相当的距离。

在参与制定过程中腾讯发现,相比H.265/HEVC标准,H.266/VVC标准虽然增加了不少新的视频压缩工具、大幅提升了压缩率,但同时也带来了更高的编码复杂度。

光是H.266/VVC参考软件VTM,其编码复杂度就是H.265参考软件HM的8倍多,还有不少可优化空间。

(这就类似装修时的样板房,虽然也能住,但毕竟没有自己设计得舒服)

因此接下来,就必须自研H.266视频编解码器了。

这其中的核心难点又在于编码器(也是这次比赛的重点)。

毕竟相较只需“疯狂加速”的解码器,编码器不仅得考虑“加速”,还得考虑压缩率。

鉴于已有的编码工具非常多、压缩率收益和复杂度也各异,直接使用已有技术or软件又可能被“卡脖子”,腾讯团队干脆从0到1自己打造了一整个编码器。

这个自研编码器,也就是我们看到的Tencent266。

为了打造它,团队前后一共设计了300多种编码加速和质量优化算法,在提升压缩速度的同时也能提升视频压缩率和主观质量。

这个让你「看片更爽」的领域,腾讯一次拿了15个世界冠军

以H.266标准中的多类型树(MTT)为例。这种结构虽然能提升压缩性能,但却增加了不少编码复杂度。

为此,团队提取并评估了像素特征与分块模式的关系,配合编码信息累计提出了好几十种方法对多类型树进行“修剪”加速。

实测表明,这种方法在压缩性能损失小于4%的情况下,成功将编码速度提升8倍以上。

此外,团队还对代码和内存结构进行了精心设计,并配合深度优化的汇编代码,来进一步提升压缩速度。

当然,在这次比赛之外,团队也有自研的Tencent266解码器,同时也在不断提升其效率。

这个让你「看片更爽」的领域,腾讯一次拿了15个世界冠军

△O266是腾讯内部对Tencent266的简称

最后,即使自研出了Tencent266编解码器,还得有“用武之地”,也就是将它真正落地到产品上去。

因此,在技术打磨上,团队继续不断提升Tencent266的编码速率,过去一年多里将它提速了30多倍,并在这次的MSU比赛中取得十几个赛道领先的成绩。

在产品落地上,Tencent266也早已在2021年7月就上线腾讯云,成为全球首家支持新一代国际视频编解码标准H.266的云厂商

2023年2月,Tencent266又上线了腾讯云直播,成为业界首个支持H.266直播的云厂商

总体来看,从视频编解码行业的制定标准、技术研发到产品落地,腾讯这次都走在了世界前列。

那么,在这项技术上取得突破,对于我们的日常生活乃至各行各业而言,又有着什么样的意义?

不止是刷视频看直播更“爽”

或许可以从三个角度来看待这件事。

首先,对日常生活而言,最直观的感受就是,看视频和看直播能变得更丝滑流畅了。

以我们看视频的分辨率为例。分辨率更高、画面更清晰的视频,需求的数据量也会更高,如8k视频更清晰,但文件通常比4k视频更大。

正如H.265标准推动了4k视频落地一样,H.266标准就是为了更好地支持8k视频而出现。

如何在观看高画质视频的同时、还能保证更多设备“不卡”,就是视频编解码器技术发挥作用的关键。

随着这项技术的成熟落地,未来在更多设备上纵享8k视频丝滑也不是梦。

而对视频产业来说,则意味着无论是视频转码、还是直播,市面上能为各种视频业务提供不同速度档位服务的产品已经出现,并具备全面落地能力。

以点播和直播为例,这两者是视频编解码技术的核心应用场景,但各自对于编码速度和编码延时的需求都不相同。

点播业务更关注编码器的压缩能力,相较编码速度,更关注压缩率和画质的情况;

直播业务则不止关注压缩能力,还需要编码速度稳定达到视频帧率以避免卡顿,同时交互式直播场景还需要极低的编码延时来保证交互可行性。

因此,如何在尽可能节省成本的情况下,为不同视频业务提供不同速度档位的服务,让大家“更省钱看得更爽”,正是视频编解码技术致力于解决的难题。

如今,最新上线的Tencent266已经支持1080p的直播能力,未来还能被拓宽到所有直播场景中。

当然,腾讯自己也有充足的落地需求。比如在腾讯视频看电视剧,就会大量用到视频编解码技术。

最后,对于科技领域而言,更是一次重要突破,意味着国内在整个视频标准这块不再会被“卡脖子”。

此前,国际主流视频标准一直被国外厂商“攻占”。

这个让你「看片更爽」的领域,腾讯一次拿了15个世界冠军

作为各厂商之间一种通用的视频规范,视频编码标准的编写,往往意味着核心技术的掌控。国际行业巨头如三星、索尼、爱立信等公司,一度从中收取了巨额专利费用。

当时,国内不少企业由于不具备相关视频标准专利,往往不得不化身“打工人”、给这些国际大厂缴纳专利费,90年代VCD、DVD企业就是如此。

不仅如此,这类技术专利的过度收费也会阻碍技术的进一步推进落地,反过来影响用户的使用。

为了在音视频技术上取得突破、真正掌握相关领域的国际话语权,这些年来腾讯一直在大力投入并发展相关技术方向。

不仅于2017年成立了腾讯多媒体实验室,而且还请来了多媒体方向的大牛刘杉坐镇。

刘杉博士本科毕业于清华大学电子工程系,在美国南加州大学取得硕博学位,曾在多家国际知名企业担任高级技术和管理职位职务,现任腾讯云副总裁、腾讯多媒体实验室总经理、腾讯视频智能创作与内容平台部副总经理、腾讯杰出科学家。

她带领团队在国际标准H.266/VVC、MPEG-5 EVC、MPEG PCC、MPEG Systems、IETF、3GPP、国家标准AVS2 & AVS3、开放媒体联盟(AOMedia)标准AV2等的制定,取得突破性成果。

同时,刘杉团队将包含编解码在内的多项多媒体核心技术,实现并应用于众多腾讯产品,并通过腾讯云,腾讯视频,腾讯游戏等广泛业务服务全球亿级用户,创造巨大的商业和社会价值。

刘杉博士表示:

腾讯(多媒体实验室)将继续推动多媒体及相关领域的国际和国家标准制定,打造音视频、互动沉浸和智能媒体核心能力矩阵,基于核心能力的产品实现,通过腾讯业务平台服务全球用户、助力各行业发展并践行科技向善。

如今,随着腾讯等更多国内厂商加入到H.266标准制定、完成技术研发和产品落地这一行动中来,被国外巨头支配的视频标准时代已经“一去不复返”。

不仅是腾讯,国内包括阿里、华为、字节、快手等各大头部厂商,都已经纷纷推出各自的H.266方案,加速推进这一视频编解码标准的落地。

未来随着这项技术的进一步落地,距离国内引领视频技术标准的时代,或许也不远了。