RTC技术随着多场景、实时音频和视频通信的迅速增加而爆发
浏览:402 时间:2021-11-9

与三个月前相比,音频和视频社交软件Clubhouse的估值翻了两番。当地时间4月19日,Clubhouse宣布完成C系列融资,估值40亿美元。

这只是实时音视频传播爆炸中的冰山一角。

在马斯克,“直播带货”的催化下,越来越多的语言聊天室产品出现,脸书也透露即将推出Clubhouse类似的竞品。不仅如此,在线办公、在线教育、泛娱乐场景对实时音视频的需求也在激增。

得益于5G、RTC等技术的发展,一个语言聊天室、直播活动室、在线教室可以快速搭建和发布,进一步刺激实时音视频市场。以融云实时音视频服务为例,开发者只需三步就能在30分钟内快速集成音视频功能:

第一步是申请开发商注册。官网会发送Appkey等信息并下载SDK。这一步通常可以在十分钟内完成。

l将下载的SDK集成到自己的开发工具中,初始化SDK,然后加入房间。初始化SDK可以帮助初始化设备、音视频相关参数等。

l发布自己的音视频流,订阅别人的音视频流。

5G时代需要更便捷的RTC技术服务

为什么市场需要快速整合实时音视频的能力?

一方面,在5G的影响下,实时音视频功能正在被嵌入到许多传统的互联网场景中。另一方面,专注于应用层面的厂商需要以最低的成本和最快的速度上线,支持产品发布和运营。

融云, CTO 任杰,认为,5G给RTC市场带来两大变化。

首先,5G的宽带和延时都有了很大的提升,因此高清低延时的音视频通话将成为未来的主流。4G网络下,实时音视频通话的主流是720p,1080p的稳定性稍显不足。5G到来后,1080p甚至更高清的4K和8K通话场景将普遍增加。

第二,增加对各种物联网设备的访问。此前,RTC实时音视频领域主要是移动和pC应用。其他物联网设备,如汽车、相机和大屏幕设备,很少被访问。任杰认为,5G到来后,各种物联网设备的接入场景也会增加。从技术角度来看,5G解决延迟问题后,可以接入大量设备,RTC领域的很多实时操作系统ATOS和Linux应用场景将会变得更加主流。

5G的到来孕育了许多新的实时音视频应用场景,这也意味着RTC技术服务商需要提供更好的支持。

“我们必须能够随时随地提供高清、稳定、流畅的音视频体验。”任杰总结称,RTC领域有很多相关技术,但融云的业务目标只有一个。当然,在为用户呈现高质量音视频体验的背后,融云将解决网络带宽限制、音视频处理等技术难题。

RTC技术服务商在做什么?

高清、稳定、流畅的音视频服务和“30分钟快速融合”的背后,RTC技术服务商大有可为。

一般RTC技术栈可以分为两个方面:服务器端的处理和服务器端的处理。

最后的处理主要是语音和视频的编码和解码。编码解码后,将进行一系列的音视频预处理,包括回声、降噪、啸叫抑制、声音增益、3A算法等。服务器端类似于端处理技术,比如录音录像,但更注重传输层面,比如网络优化。

网络优化可以分为两部分:对抗弱网络、分布式网络和调度。无论是5G、4G还是WiFi,只要是无线信号,都会遇到信号阻塞和衰减的问题,说明网络不稳定,瞬间丢包往往会比较大,延迟可能会突然变大。

此外,在端点设备访问网络路,之后,它需要经过多个网络节点,以在两个终端或多个终端之间传输实时音频和视频流。因此,哪组路径可以使端点接入更好,传输流量更稳定,是网络路,的策略,也是分布式网络和调度需要解决的问题。

针对这些问题,融云从以下三个方面进行了优化:

首先是弱网络对抗相关算法的优化,包括重新定义一些算法,严格区分随机丢包和带宽限制,能够快速响应。

第二,在动态路由策略方面,融云会做一些早期检测,动态检查链路有可能在3~4秒内发现链路的恶化,并立即重新调度,包括服务器和负载的一些调度,也就是分布式部署。

第三,全球网络的部署,融云音视频使用了大量的IaaS,还与全球一些机房合作,部署尽可能多的节点。同时,实时监控这些节点的状态,扩展容量,添加节点等。后台还有音视频质量的QoE系统,对整个网络进行监控并实时调整。

做开发者的支持者,而不是竞争者

“我们是平台即服务提供商,我们将向上提供平台即服务,但不会直接提供目录产品。”任杰表示,只要复用度高,融云会考虑向上包装,帮助开发者在更接近场景的地方使用。但是,融云一直服务于开发商,所以不会做toc产品,不会与开发商和客户形成竞争关系。

以语言聊天室为例,融云对语言聊天室应用提供的支持侧重于技术层面,使其音效更好。

开发者花了30分钟快速集成一个语言聊天室应用后,融云会根据业务场景调用开发SDK,让开发者更快实现使用混音、添加背景音乐、管理麦位,显示网络信号等各种功能。

第一,聊天室中麦位的相关控制。任杰表示,麦位支持依托信令管理,因为在IM领域积累了多年,信令是融云,的传统优势,融云在语言聊天室也有一整套技术支持,可以更轻松、更轻松地完成麦位管理。二是实时音视频中声音的相关处理,包括美声、变声、各种音效、混音后的音效等等。

任杰指出,RTC领域涉及很多具体的音视频概念以及与音视频相关的质量控制,因此开发环境具有一定的复杂性。SDK本身场景越多,集成起来就越容易,因为它为开发者隐藏了技术细节,所以大家都提出要向SaaS方向发展。

“在一定程度上,我相当同意。至于我们的平台即服务能力提供商,我们也最想降低开发人员成本,所以我们也在努力,在SaaS和平台即服务之间建立平台即服务能力。例如,除了提供音视频功能外,我们还为MeetingLib提供了一套完整的控制信令系统,与音视频流的一些操作直接相关。”

这时候开发者使用这个SDK的时候,不需要太在意音视频流的一些处理。例如,当需要禁麦时,通过MeetingLib中的标准界面进行操作。相反,如果没有MeetingLib,开发者可以自己用RTCLib来做,但是需要在应用端发布禁令,或者调用IM能力发布对所有人的禁令,禁止所有人的麦克风。

“所以当我们往上走的时候,开发者就不用关注每一个具体的流程和每个用户的状态了。”任杰说,这就是他们现在正在做的事情。

此外,在客户支持层面,融云还总结了两类最需要支持的问题。

一个是SDK访问,也就是开发集成相关的问题。任杰透露,客户通常会查看融云提供的文档或支持系统、工作单和支持组,以帮助客户以这种方式完成集成工作。但是由于大部分开发者对音视频技术栈并不熟悉,在遇到一些非通用的具体开发概念时会有困难。

在这方面,融云将在相关文件中提供简要说明,如编码、帧速率和比特率等基本概念的说明。此外,还有一些详细描述SDK集成过程的程序说明;Quickdemo旨在帮助开发人员快速使用和集成。

另一个是与质量相关的支持。由于实时通话时音视频受网络影响较大,端点网络可能存在问题。“在这个过程中,我们可能需要检查一系列问题。我们还有一个自助服务平台—— 北极之星。”任杰说,北极之星本质上是一个音频和视频的QoE系统。这个系统会记录每一个电话;音视频流传输的全过程,包括传输速率、卡顿率、是否有黑屏等一系列数据指标,数据曲线;开发者也可以在平台上自检通话质量和统计指标。

下一代RTC市场

作为RTC市场的技术服务提供商,融云最近正在进行新的尝试。

5G催生了更多的VR应用,很快,VR直播应用就会到来。融云已与VR行业多家企业达成合作,目前为其提供远程维护、技术指导等服务。“随着5G的推广,娱乐圈真正大规模的toC场景将逐渐浮现。”

泛娱乐应用是下一代RTC应用的一大场景,包括直播、狼人杀、剧本杀、KTV等。以及近期与VR融合的新场景。

此外,还有办公应用,包括会议场景和监控场景。以任杰,为例,在公安、安保和应急指挥工作的监控场景中,一些设备的接入,包括对GB28181、SIp等的支持,也会涉及其中。在线教育场景也涉及到很多细分的应用,比如小班、大班、大型直播、双师等。

近日,为了更好地赋能开发者探索更多新鲜应用,融云还推出了20万分钟的免费音视频分享活动。开启实时音视频功能的用户每月可免费享受20万分钟,视频最高可支持1080p超高清分辨率。

随着RTC应用的爆发,融云,作为通信云领域的领导者,已经能够结合多年的IM能力,提供覆盖所有通信场景的技术服务。

任杰表示,融云的优势来自多方面:融云是公有云的paaS提供商,IM已经做了很多年,超过99%的RTC场景会使用IM相关能力。如果两者结合起来,融云会有很大的优势;此外,融云拥有非常专业的大规模团队,并在音视频技术上投入巨资,不断迭代技术。“我们的一家服务提供商可以通过‘RTC IM PUSH’的集成通信功能,用SDK覆盖所有通信场景。只要找到我们的融云家族来完成这一切。”