“腾讯多媒体实验室刘杉：万物皆媒的5G时代，多媒体打开新场景”

刘杉表示，全球疫情将许多行业的活动从线上变成了线上，但如何在保持优质服务、降低互联网数据带宽的压力下，对多媒体技术提出了更高的要求？ 腾讯作为互联网技术企业，许多业务和多媒体技术密切相关。 因为这种视频编解码技术是腾讯所需要的重要核心能力。

刘杉，腾讯卓越的科学家，多媒体实验室的负责人

在多媒体技术改革的创新中，腾讯不断寻求突破。 自2007年参与h.266/vvc标准制定以来，腾讯多媒体实验室标准采用了约100种技术，数量居世界领先地位； 为了积极推进av1的商业化，腾讯云于2019年11月成为中国第一家支持av1转码的云服务商，今年10月，腾讯在标准截稿3个月内在国内首次发布了h.266高清/超高清实时播放器。

在媒体与沉浸式互文芳阁方面，刘杉随着5g时代的到来，沉浸式媒体的广阔应用场景与商业空之间全面激活，沉浸式媒体技术与实时媒体传输技术相结合，越来越多的沉浸式应用。 目前，腾讯正在上线多个沉浸式媒体处理程序，以满足不同业务的开发诉求。

在演讲结束时，刘杉表示，未来腾讯将继续积极投资多媒体技术研发，拥抱开源生态建设，为开发者和合作伙伴提供有效的服务和支持。

在展示区，腾讯多媒体实验室沉浸式媒体处理方案问世，让广大观众体验到了vr360、点云等3dof到6dof沉浸式媒体技术和产品。 场外观众可以登录techo官方小程序，通过5g+vr360技术体验会场的实时动态，360度自由的立场感受会场。

以下是刘杉演讲的实录:

各位领导，各位同事，各位嘉宾，大家好。 我是刘杉。 来自腾讯的多媒体实验室。 今天没能去现场很遗憾，但是以视频的形式和大家分享。 今天我们将分享从视频编解码器到交互式沉浸式媒体的主题。

去年在techo上共享了视频编解码技术和应用。 今天向您介绍第一个拷贝。 简要介绍这一年来视频编解码技术的发展和迭代。 接下来，我将向大家介绍腾讯多媒体实验室和信息云，并介绍一些媒体和交互式媒体发展方向的探索和尝试。

今年是特别有挑战性的一年。 全球疫情给我们的生活带来了巨大的变化。 教育、办公室、娱乐、销售等行业的许多活动由于疫情的关系从在线变为在线，多媒体技术对这些云服务提供了必不可少的支持。 3月以来，全球视频流量激增，互联网带宽面临巨大压力，世界各地因互联网压力过大而引发的区域性互联网中断现象频发。 欧洲委员会必须谈论netflix等网络视频服务商，要求在高峰时期降低画质，让宝贵的数据带宽留给在家工作和学习。 一项调查结果显示，流媒体软件市场正在加速增长19%，如何保持优质服务、降低互联网数据带宽的压力也对多媒体技术提出了很高的要求。

与此同时，人们对视频外观质量的要求也越来越高。 更高的分辨率、更高的亮度和饱和度动态范围、更高的帧率等技术指标与vr360、freeview等媒体方法相结合，提高了视频的观感质量，并对数据带宽提出了更高的要求 根据互联网流量数据，年标清和高清视频拷贝约各占一半，2019年标清拷贝所占比例降至约1/3，高清拷贝成为主流，超高清拷贝所占比例开始上升。 预计到2022年，超高分辨率复印的占有率将进一步上升到总流量的约1/4。 另外，据中国产业新闻网报道，中国vr文案市场自去年以来以每年2-3倍的速度持续增长。 这些对于视频编解码器，即视频压缩这一已经存在多年的技术行业，至今仍具有重要性和必要性。

腾讯作为网络科技企业，很多业务都与视频这种媒体形式密切相关。 例如，腾讯视频、微视、微信、qq、教育、泛在娱乐等。 另外，还有在这次新冠灾祸中对在线教育和远程教育做出了巨大贡献的腾讯会议和腾讯教室等产品。 因为这种先进高效的视频编解码技术也是腾讯企业需要的重要核心能力。

简单回顾一下，在过去的30多年中，世界许多公司和研究机构投入了巨大的资源，开发了多种视频编解码技术，形成了几个世代的视频编解码标准。 其中主流标准是iso/iec和itu制定的国际标准，众所周知的mpeg-2、h.264/avc、h.265/hevc和今年7月关闭稿件的h.266/vvc .腾讯于年初发布了h.266/vvc .腾讯。

此外，自去年正式加入aomdia，成为首个加入aomdia董事会的中国企业以来，腾讯与其他AOM Media成员企业一起积极拓展开源生态，推进av1商业化，腾讯于去年11月成为中国首个av1转码公司。 在新一代开源视频编解码器标准av2制定中，腾讯贡献了通用测试条件、av2诉求文档等多个重要方案，涵盖了块分割、帧内预测、转换、量化、环路滤波等多个核心技术行业，累计贡献压缩率居世界前列。 腾讯专家在AO媒体组织和谷歌专家一起担任技术孵化组主席，和facebook专家一起担任软件实现组主席。

我们也将着力建设、宣传和应用国标avs。 目前，腾讯云支持avs2和avs3HD/超HD实时转码，还为电视台等进行了AVS私有化引进。

今年10月，在h.266/vvc标准第一版截止日期仅3个月后，腾讯在国内首次发布了h.266高清/超高清实时播放器。 该播放器内置腾讯自研h.266软件解码器，可支持高清、超高清、屏幕拷贝共享等场景的实时解码，各项性能指标居国际领先地位。

现在您看到的是在我们发布的h.266播放器上播放标准测试序列的地方。

每次制定视频编解码器的标准时，需要用于检查各提议技术的性能的标准测试序列，这有助于决定该技术是否应该被采用于标准。

既是腾讯的象征性序列，也是我们业务中具有代表性的复制品，王者荣耀还被列入了vvc标准的测试序列集。

这个播放器现在是面向开发者开放源代码的。

传真积极投入开源社区建设，并通过传真将腾讯先进的技术能力服务于各领域的开发者。 在产品设计上，不仅是国内市场，腾讯对海外业务也有充分的配置和照顾。 与国外ott市场相比，腾讯云制作了媒体服务系列产品，为国内产品国际化和国外开发者和服务商提供了充分的技术产品支持。 媒体服务系列产品提供rtp/hls/dash等8种国外常见的流媒体合同，支持7天24小时360多个国家和地区的本地化部署。

在科学技术飞速发展的今天，人们不仅希望看到以前流传下来的二维视频，而且希望有更真实、沉浸式的体验。 沉浸式媒体被认为是通过实现物理世界与虚拟世界的融合共生来改变未来生活和工作方式的卓越趋势之一。 以vr为首的沉浸式媒体文案市场在这几年有了长足的增长，应用产业链迅速扩大，应用行业也越来越广泛，如渗透到文旅、教育、娱乐、医疗和制造等领域。 预计到2025年沉浸式媒体市场规模将迅速发展达到161BUSD(1611亿美元)，越来越多的企业和制造商也在沉浸式媒体技术的开发和生产上加大投入。

更深的沉浸感在实际场景的6dof、更清晰流畅的拷贝显示、多通道的互动性等方面表现得最明显，依靠vr、ar、点云、freeview等核心技术，在图像、视频、拷贝、声音等之前 结合互动等环节，通过手机、电脑、耳机、耳机等从沉浸式应用场景来看，从面向个人娱乐的支出类市场迅速发展为公司级市场的垂直领域应用场景。 未来，随着5g的大规模普及，沉浸式媒体硬件和技术的进一步突破，制作价格的下降以及越来越多的高质量文案的开发，将推动沉浸式媒体产品和服务在主流群体中的采用，沉浸式媒体广阔的应用场景和商业空之间全面。

高质量、高效的交互式沉浸式系统包括收集、解决、压缩、传输、解压缩、后解决、渲染、交互式等许多技术模块。 包括的技术有投影、收集拼接、fov、自适应传输等技术，相关传输协议有hls、dash、rtc等。 由于沉浸式媒体副本的数据量比以前分发的高清/超高清视频更庞大，因此，例如，在这里让他们观看的vr360音乐会、与freeview篮球比赛中，所有这些技术模块将会如何有效

沉浸式媒体技术与实时媒体传输技术相结合可以生成越来越多的沉浸式应用程序。 例如，在以前流传的视频会议中，只能使用单一的固定镜头，视野和互动性有限。 采用沉浸式技术，可以产生3自由度和6自由度的视听效果，结合虚拟会议室的设置，可以为参加者提供更全面的会议新闻和更丰富的会议体验。

点云是沉浸式媒体行业的另一个代表性技术，近两年来越来越受到关注。 从点云到边缘的系统包括点云数据解析、压缩、模型重构与渲染、交互等技术模块。 腾讯自研点云系统通过视频、照片、深度等新闻可以实现三维物体与空之间的重建，可以用于展会、房地产等业务场景。 由于点群使用三维空之间的格子法来表现实际物体和场景，因此可以认为，构建高精度的点群模型所需的数据量非常庞大。 因此，点云数据压缩也是点云系统中不可缺少的一环。 多媒体腾讯的专家积极参与点云压缩的国际标准制定，技术提案被采用为国际标准，担任avs点云专题组的联合组长。

新闻云目前上线了vr视频处理方案、腾讯临境沉浸式处理方案等多种沉浸式媒体处理方案，满足不同业务的开发诉求。 腾讯临境沉浸式处理方案提供完美的空间建模能力，支持h5页、Android、ios手机端、小程序端全平台的展示与共享。

我们正在进入5g时代。 4g通信网络为我们提供了超强的带宽、超低延迟，得到越来越多的应用，万物互联也成为可能。 受5g的影响，媒体拷贝的生产、获取和传播方法正在发生变化。 无论是4k/8k，还是vr/ar/mr/点云，这些都是过去受互联网带宽限制的应用，因此有可能在5g的推动下迎来突破。 腾讯将继续积极致力于多媒体技术的研发，拥抱开源生态建设，为开发者和合作伙伴提供比较有效的服务和支持。

谢谢你。

本文：《“腾讯多媒体实验室刘杉：万物皆媒的5G时代，多媒体打开新场景”》