开发一个优秀的RTC系统需要具备哪些技术储备呢,并为全球用户提供稳定、安全、高品质的即时通讯云服务

摘要在移动互联网飞速发展的今天,各种应用都渴望加入RTC的功能,实现用户与企业,用户与用户之间的实时音视频交流。于是问题出现了,开发一个RTC系统需要什么技术储备?概述  实时通讯系统,RTC(real
time
communication),是最近互联网应用的一个新领域。RTC系统的应用极其广泛,我们常见的视频电话,会议系统,远程桌面与控制都是RTC系统的一个应用。在移动互联网飞速发展的今天,各种应用都渴望加入RTC的功能,实现用户与企业,用户与用户之间的音视频交流。于是问题出现了,开发一个RTC系统需要什么技术储备?  有人说只需要懂javascript就可以了。WebRTC的出现极大的降低了RTC的开发门槛。只需要编写javascript代码就可以实现浏览器之间的音视频通话。且不论通话质量,浏览器的兼容性,网络穿透能力,那些不使用HTML的原生APP怎么办?  又有人提出WebRTC也支持Native开发,只要有懂C++和相关应用平台(Android,iOS,Windows,Mac)开发的软件工程师就可以了。WebRTC确实可以在这些平台上开发原生的应用。将WebRTC编译打包后嵌入APP可以实现RTC的功能,就是说能通了。但一个合格的RTC系统仅仅是能通就可以了吗?  以音视频通话为例,用户期望的RTC应用应该是:通话不卡不掉低延时,声音清晰真实无回声,画面流畅清晰无卡顿。如果直接采用上面WebRTC集成,我们很容易发现,在大多数情况下,通话并不像原来想象的那样完美。由于网络的原因,通话断断续续,延时很大。由于终端的适配不好,语音通话回声严重,噪声严重影响体验。视频不清楚,不流畅。  RTC系统的每一个部分都需要优化,需要打磨,才能打造出完美的用户体验。现在的问题是,开发一个优秀的RTC系统需要具备哪些技术储备呢?终端  解决语音通话的问题,首先需要有合适的语音编解码器,然后需要调整音频处理模块的算法。这里面内容比较广,有噪声消除,回声抑制,自动增益。比较前沿的还有多麦克风降噪,盲扩增强等等。总之这些都需要算法的储备,涉及语音信号处理、统计信号处理等方面的内容。  有了算法还不够,还需要有好的实现。各个平台(Android,iOS,Windows,Mac)底层音频系统也需要深入了解。有时候算法挺好的,但有些机器先天不足,比较特别,需要特殊处理。这需要投入许多人力物力对各种型号的硬件做适配。优秀的系统可能需要适配几百上千个不同的设备。  同样的,对于视频,我们需要对视频编解码器有深入的了解。这样才能用最低的码率展示清晰的视频画面。视频的前后处理,比如降噪,增强(包括流行的美颜)也少不了。这就需要图像与视频信号处理。视频数据量比较大,对底层视频设备也需要深入研究。适配也少不了。网络  说完了终端,再说说网络。网络抗丢包是必备选项。互联网不是一个可靠的实时音视频传输网络。在不可靠的网络中实现可靠的音视频传输考验系统设计的能力。这里既有信道编码的理论也有网络对抗的实际经验。  如果要实现可靠的云服务,遍布全球的服务器网络也必不可少。高可用性,负载均衡等等…  现在我们知道开发一个RTC系统需要什么技术了。这个系统涉及到几乎所有的网络与音视频处理的理论与实践。作者简介  郑仲侯,声网Agora.io音视频构架师。硕士毕业于上海交通大学电子工程系,信号处理专业。先后在National
Instruments,SRS,DTS工作十余年。专注信号处理算法与实践,加入Agora后从事音视频引擎的开发,持有双麦降噪专利。

摘要北京时间6月1日,融云即时通讯云宣布其北美独立数据中心正式上线,此举标志着融云即时通云将通过该数据中心帮助中国开发者顺利布局北美乃至全球市场,并为全球用户提供稳定、安全、高品质的即时通讯云服务。自2014年起,融云作为中国首家进军海外的即时通讯云服务商,已经先后在北美、东南亚、欧洲、中东等地开放节点服务,为开发者提供各大洲稳定的海外链路支持。如今,随着全球互联网的蓬勃发展,越来越多的中国移动互联网公司已经成功布局海外业务,国内开发者推出的移动产品频频登顶海外榜首成为常态。而如何进一步巩海外市场,优化产品体验以及应对海量数据处理成为新的考验。研究显示,海外市场不仅有近20亿的智能手机用户,而且用户对即时通讯的依赖性更强。移动应用是否具备通讯功能也成为布局海外业务成功的关键,比如风头正劲的直播类应用,能否实现直播时互动聊天已经成为吸引海外用户的重要因素。而在实践运营中,国内移动开发者往往受到IM开发能力、海外运营能力等限制,尤其是海外用户爆炸式增长、通讯消息量激增等对业务弹性要求更高,若使用海外云则存在“时差”和“语言”等方面的沟通问题,以上种种,已经成为国内移动开发者出海发展的最大障碍。对此,融云即时通讯云北美独立数据中心的建成将帮助这些企业顺利出海。该数据中心选用亚马逊
AWS 服务,位于AWS US West
区,开放商用后,融云即时通讯云北美独立数据中心将为开发者提供多种基础架构服务,可满足大规模扩容等需求,为国内移动开发团队扬帆远航提供高品质即时通讯云服务。融云作为全球最大的即时通讯云服务,截止3月份,已经累计服务
APP
逾8万款,日均活跃用户量超过2000万,日均消息量超过15亿条。在艾瑞咨询最新发布的《2016年中国
IM
云服务行业白皮书》中,融云即时通讯云稳居市场第一,优势显著。如今,融云即时通讯云北美独立数据中心上线,将协助国内移动开发者更好的布局海外业务,体验高品质的即时通讯云服务。融云官网地址:

摘要2016年6月9日是开源实时音视频工程WebRTC开源5周年的日子,Google
WebRTC负责人Harald在社区里面写了一篇文章总结这几年的进展,并附上了自己5年前同样场景下写的一篇文章。前言2016年6月9日是WebRTC开源5周年的日子,Google
WebRTC负责人Harald在社区里面写了一篇文章总结这几年的进展,并附上了自己5年前同样场景下写的一篇文章。为了便于大家更好理解过去5年在WebRTC上都发生了什么,我将这两篇给翻译过来了。友情提醒:整个翻译并不是逐字逐句进行的,而是在理解了作者的意思后用自己的语言表达出来的,因为如果逐字逐句可能很多意思我们都无法正确理解。这就是为什么有些英文资料被翻译成中文后晦涩难懂。当然如果英语够好建议直接看原文。5年前的感慨今天谷歌开源了WebRTC技术,一个用于实时语音和视频通话的软件包,她即将被整合到Chrome。这是我们的第一波贡献,一切都是为了一个伟大的使命——在统一的标准的API下实现所有浏览器间的音视频通话。这个初始版本将提供我们设想的一些功能,具体详见:
Harald)今天的总结今天,回首往事,我们可以很自豪地说:“我们实现了我们所有的目标。”现在音视频交互变得越来越重要,许多产品和服务都支持Web和Native之间的无缝交换,而他们之中绝大部分都是基于我们现在开放出的标准API——这些API的底层实现基本上都是基于WebRTC
。一套通用标准促进了整个行业的发展,Firefox、Opera和微软都已经在支持WebRTC技术了。这已经导致超过20多亿浏览器用户使用了WebRTC技术,仅仅Chrome上每周就有超过10亿分钟的音视频通话,以及超过500T的数据传输(通过WebRTC的数据通道)。WebRTC从一开始就秉持一种很开放的态度,向视频编解码免版税方向迈进。在WebRTC中80%音频通信采用Opus,而最近推出的VP9比VP8节省70%的带宽。由于VP9的努力发展,媒体开放联盟在视频编解码免版税道路上又多了一种选择,以及增加了更多的合作空间。今天,WebRTC技术在音视频领域已经证明了自己的强大,在接下来的几年里,我们期望看到一个更加强大的WebRTC。接下来我们会持续改进音视频质量。我们在WebRTC中愿意采用一些通用的编解码来实现交互通讯,但有一些互操作的问题要去解决。另外作为未来编解码的VP9,他后面在压缩率方面会持续改进,以便更好支持低带宽下的通讯。今天的通信都发生在许多不同网络条件下,从EDGE到LTE。WebRTC面临多样化的网络条件,所以必须能够做出相应的调整。所以我们一直在努力改善拥塞控制算法和优化媒体传输配置来适应各种状况,这里面也有很多机会和方法来改善和简化媒体协议以适应当今网络需求。五年前,大多数通信发生在桌面上。但现在一切都变了,WebRTC技术已经发展到要满足各种移动通信应用的需求。展望未来,还有很多机会,如VR。WebRTC这个平台只会随着时间推移而价值愈加明显,现在仅仅是开始。我们要做的就是:努力做好WebRTC这个平台。(作者:Google
Harald)(原文链接:

相关文章

发表评论

电子邮件地址不会被公开。 必填项已用*标注