10月29日，LiveVideoStackCon2021音视频技术大会北京站正式开幕。本届大会历时2天，16个技术专题、67场技术分享，来自多个行业的多媒体生态技术代表齐聚一堂，大会聚焦前沿技术和行业热点。LiveVideoStack联合腾讯云5位技术专家，为大家带来全新All in One终端引擎、跨平台能力、海外直播技术、云渲染技术、多媒体处理等技术的最新动向，为大家带来一场盛大的音视频技术盛宴。
随着云计算的普及与高速发展，5G网络、VR技术的日益成熟，我们正向着全真互联网时代大步迈进。伴随着新时代的到来，“元宇宙”、“沉浸式”等概念横空而出，挑战与机遇同在，我们不得不思考，哪些行业、产品和商业模式将最早受到全真互联网的影响？
首先，是由腾讯云专家工程师、腾讯云音视频终端研发总经理常青为我们带来的专题演讲——《新一代音视频终端引擎框架设计和技术实现》。
腾讯云终端团队不断完善并积累出了一套完整的终端SDK方案体系，包含即时通信，主播推流，直播播放、点播播放、RTC实时互动、短视频录制，特效编辑等一系列音视频和实时通信相关的功能特性。在这些功能背后，团队是如何完成了框架设计、组件打磨、数据流转、性能优化的呢？
通过系统化设计，将各个部件进行整合，完成1+1>2的过程。这其中包括RTC实时通信通过很多应用场景给中心组件，不断提新的诉求。通过很多数据分析给组件进行技术优化，不断一层层提升。
常青提到，腾讯云终端团队一直在拓展新的领域，包括快直播。而且对于明星产品——即时通信 IM 我们也在不断提高能力，使它越来越强，功能越来越丰富。在一系列子功能情况下，相应会出现整个能力大版图，包括三网合一RT-ONE™网络，包括整个端上RT-Cube™腾讯云视立方组件库、TUI组件库。现在再去做类似音视频通信类产品，对大部分人来说不是白手起家，类似于选配，把需要的组合做简单串联，一个比较专业性产品就出来了。
- 音视频前端跨平台技术应用 -
Flutter 是近两年大火的跨终端框架，实时音视频因为疫情的缘故越来越融入到人们的日常工作生活中，如线上会议、在线教育等。两者结合起来可以碰撞起什么样的火花呢？利用 Flutter 实时音视频 SDK ，我们可以快速开发一个跨平台的会议、娱乐、教育等 APP 。
腾讯云高级工程师，腾讯云音视频Web前端核心开发牛赞在本次演讲中就为我们分享利用Flutter如何进行实时音视频渲染，并深入底层，优化视频渲染的性能。
首先，牛赞分享了为什么需要跨平台框架？因为它在理想情况下可以实现一次开发，多端运行，组件互用，提升效率。对于管理者来说，可以降低人力成本，不用分别组建 iOS和Android 团队。对于开发者来说，可以降低学习成本，只需理解一套跨平台框架即可实现双端开发，提升自我业务价值。
其次，牛赞提出了在设计 Flutter 音视频 SDK 中面临的挑战和解决方案，也对应用场景功能做出了详解。最后牛赞提到：
“Flutter 主要应用在移动端 iOS/Android 双端， 愿景是成为一个多端运行的UI框架，能够支持不仅仅是移动端，还包括 Web 端和桌面端（MacOS/Windows）。Flutter官方预计年底会正式支持桌面端，我们团队已经将 Beta 阶段的桌面端融合进 TRTC 音视频能力中，并开放了对 MacOS/Windows 的支持，功能上能够支持音视频通话部分。
目前我们的 SDK 在 dev 测试版上也开放了对 Web 的支持，WebAPI 和NativeApi差异比较大，所以我们在 Web 通信层也做了大量的逻辑去抹平这里的差异。底层的 WebSDK 是基于 WebRTC 的实时音视频通话解决方案,目前主要支持Chrome58+和Safari浏览器。未来，Flutter 对桌面端/ Web 端的支持会越来越好，一套框架打通全平台非常值得期待。”
- 腾讯云海外音视频技术架构 -
海外直播平台不仅具备优质的物理资源，在软实力上也得到了很大提升。在传输层上，除了传统的TCP协议，同时还支持基于UDP的加速协议QUIC。在流媒体协议上，支持传统的RTMP、HTTP-FLV、HLS等协议，同时支持多码率自适应HLS和DASH，在此基础上，升级实现了低延时的 CMAF协议。近年来，基于WebRTC协议，海外直播系统实现了秒级延时的WebRTC低延时直播能力，在播放Qos优化上迈出了更大的一步。
腾讯云高级工程师，腾讯云直播海外技术负责人胡仁成在本次演讲中就为我们分享了音视频架构实践中面遇到的一些挑战和一些优化思路。
不同于国内，中国运营商两个手都可以数的过来，基础网络设施建设非常齐备。海外覆盖190+国家和地区，有数万家运营商，通常不仅存在国内遇到的local DNS、public DNS多出口导致调度不准等问题，而且建设资源远远落后于国内，另外，在一些突发场景下保证平台稳定性等一些问题都给接入方面提升非常大的复杂度。部分国家的调度精准度优化前后，提升非常大，对传输质量也产生了很大的影响。
面对如此复杂的环境和条件，我们针对接入提出了四个优化目标-更快、更准、更稳以及更加“智能”。所以我们从DNS解析优化（如何把调度做得更快）HTTPDNS优化（如何把调度做得更准）、弹性调度优化（如何使平台更加稳定）以及网络接入优化（如何把网络做得更智能）这四个方面进行优化，提升了整体接入能力，最终结合容量、质量、实时探测数据、成本，生成梯度的调度策略反馈调度系统，实时干预调度。
同时，随着客户的需求累积和我们对多协议的优化和集成，一些客户需要QUIC、WebRTC、RTP等。为满足多样化的接入，我们构建了多协议加速平台、用插件式方案进行管理，针对性优化。
最后，胡仁成针对海外应用最为广泛——OTT场景下的技术架构和实现，也进行了详细的分析。
- 云渲染技术框架及互动新玩法 -
随着游戏及软件云端化运行能力的支持，大型游戏和软件可以在浏览器、轻客户端以及小程序中运行，在扩展了使用场景边界的同时，也为游戏和软件探索云原生实现提供了基础。腾讯云云渲染 PaaS 提供了基于 WebRTC 的万人级互动交互的云原生能力，包括操作权限转移管理、多人语音会话等。
腾讯云专家工程师，云渲染技术负责人王超在本次演讲中为我们分享了互动新玩法上的技术实现。
首先，王超介绍云渲染最基础的交互层面的核心技术，主要从编码和传输两个方面进行分析。最后是对云原生渲染和互动云渲染能力的探索。
基于云渲染本身的能力，我们实现了数字虚拟人、Cloud AR、Cloud VR。现在的AR、VR都比较依靠于设备，用户需要频繁地更新设备，但如果把这个搬到云端，用户本地只需要做解码能力的支持，网络带宽更新换代也是非常快，那这样就可以实现轻客户端的能力，把所有渲染都放到云端，更加方便快捷。
- 全真时代与智能时代的多媒体技术 -
视觉体验在全真时代显得越发重要，如何提高用户的视觉体验？更好的编码标准带来的低码率高画质、超分等视频处理手段带来的画质提升、三维视频带来深度感知、任意视点视频或者VR360视频带来的用户交互、扩展现实与虚拟现实带来的超现实感；另一方面，智能时代革新了音视频技术，通过音视频分析更好的理解数据与链接用户、通过辅助创作让音视频内容极大丰富。
腾讯专家研究员，多媒体实验室融合媒体总监李松南带领我们一起发掘在全真时代与智能时代里多媒体技术的无限可能。
李松南从全真时代——从8K到沉浸式做出了详解，他从连接——交互——呈现这三个方面为我们诠释了“全真互联网”，即连接更加全面，呈现交互更加真实。
多媒体实验室在视频编解码标准方向上持续投入，以H.266/VVC为例，有超过100份技术提案被采纳，根据一家德国专利数据平台的统计数据，腾讯在VVC被采纳提案中技术贡献排名前三。2020年10月，腾讯在国内率先开源发布了基于Tencent266解码器的实时266播放器；2021年1月，腾讯将Tencent266解码器优化覆盖至全平台，推出iOS/安卓平台ARM优化版解码器；2021年7月，腾讯云基于Tencent266宣布支持H.266/VVC，为全球首家支持云端266转码的云厂商。多媒体实验室还参与制定国标AVS3，涵盖视频编码、点云、沉浸式系统、质量等多个方面。此外，实验室在开放媒体联盟（AOMeida）制定的AV2中也有非常多的技术贡献。
本次专场演讲会在激烈的讨论中落下了帷幕。腾讯云音视频基于在音视频领域21年的积累，构建了全球领先的RT-ONE™音视频通信基础网络、完整的音视频PaaS平台及终端SDK产品矩阵，为全真互联网时代，提供坚实的数字化助力。腾讯云音视频期待与你们再次相见，共同碰撞出崭新的能量！
关注“腾讯云音视频”公众号，关注更多音视频相关资讯。后续我们将分期推出各位老师的详细内容专题，请期待吧～
腾讯云音视频在音视频领域已有超过21年的技术积累，持续支持国内90%的音视频客户实现云上创新，独家具备 RT-ONE™ 全球网络，在此基础上，构建了业界最完整的 PaaS 产品家族，并通过腾讯云视立方 RT-Cube™ 提供All in One 的终端SDK，助力客户一键获取众多腾讯云音视频能力。腾讯云音视频为全真互联时代，提供坚实的数字化助力。
