如果有人跟你聊“实时音视频通话功能”,你会想起什么?视频聊天、在线课堂,还是朋友之间的游戏开黑?其实,还有一个复杂且巨大的领域,有着旺盛的“互动”需求,那就是 IoT 领域。
很多大厂商不是已经开始布局,就是已经推出了相应产品。例如,在去年由“能打电话的智能手表”变为“能视频的电话手表”的小天才;在今年2019 CES 上,多家厂商都推出了支持实时视频的智能门禁。
总体来讲,希望集成实时音视频功能的低功耗智能设备有以下几类:
智能手表:“能打电话”已成很多儿童智能手表的标配,而“能视频通话”的智能手表已经纷纷出现在海内外市场上。
智能眼镜:基于实时音视频与后处理技术(如 AR、计算机视觉算法)可以实现多种场景
智能摄像头:安防监控、视频交互一直是智能摄像头的重要功能。与传统的监控摄像机相比,目前市面上的智能摄像机大多可以通过手机实现远程遥控,同时还拥有双向语音通话、夜视拍摄、报警提醒等等。智能摄像头作为通用消费级产品,售价较低,厂商为控制成本,摄像头的配置(内存、存储空间)相应较低。要求实时音视频传输SDK内存占用和包体积要尽量低。
机器人:家庭机器人及少数公共场所的机器人,需要实时音视频功能
智能门禁:可视对讲,通过实时音视频实现远程安防、通话
低功耗设备上视频通话的难点
如果我们曾利用 WebRTC 在手机上实现了实时音视频通话,那么我们是否可以将它照搬到低功耗设备上呢?
答案是“不能”。低功耗智能设备在硬件、软件方面都与手机不同,所以对实时音视频通信的要求也有所不同,这导致了手机的方案无法直接拿来就用。以智能手表为例,如果要实现实时音视频,需要满足以下要求:
首先,功耗要低。智能设备一般体积都小,很多低功耗智能设备的电池容量,以及可支持的功率有限。另一方面,很多智能设备采用的 CPU 性能有限,在进行音视频通话的同时,还要支持系统、常驻功能的运转。一般的解决方案,无法做到稍长时间的视频通话,最大的障碍就在于能耗。随着通话时长的积累,高负荷运转的设备会发热。所以低功耗十分必要。这也是为什么小天才儿童手表选择声网的IoT解决方案的原因,声网技术支持的小天才Z5儿童手表支持高清视频通话可达10分钟,这在儿童手机领域无疑是标杆性的。
同时,智能设备要求内存低。比如,智能手表这类产品的内存一般都不高。在这样的背景下,如果要在设备上进行实时音视频通话时,不能占用太多内存资源,否则会影响设备的正常使用。
第三,智能设备需要跨平台、跨设备的通话支持。智能设备并不像手机这样普及,所以当你在通过智能手表、智能眼镜与他人通话时,对方所使用的可能是手机或 Web 浏览器。所以还需要支持智能设备与其它平台的通话。
提供高音质高画质体验。音视频通话的质量始终是关键,画面的卡顿、模糊,声音出现回声、噪声都是用户无法接受的。但是,一套音视频方案在别人的智能手表上跑通了的时候,并不意味着完全能用于你的设备。
声网低功耗智能设备场景方案
尽管如此,我们还是可以解决以上大部分问题。针对低功耗设备的硬件、软件系统的特点,我们对 Agora SDK 进行了多方面的优化,包括编码算法、降噪算法,帧率和分辨率的优化算法,推出了低功耗版本 Agora SDK ,支持低功耗智能设备与其它设备与平台进行视频通话。
声网低功耗智能设备场景方案的特点:
1. 跨平台实时语音通话
声网创建了基于UDP协议的软件定义实时网络SD-RTN™,并在全球部署的近200个数据中心。通过 Agora SD-RTN™虚拟通信网络,集成声网方案的低功耗设备,可以与 Web 浏览器、手机端进行实时的音视频通话。
2. 低功耗、低内存占用
占用的内存小,正常通话发热量小,可以保证用户之间的较长时间的正常通话,经测试在小天才智能手表上可进行15分钟的长时间视频通话。
3. 支持主流软硬件平台
该方案适用于基于 ARM 架构、Android 系统平台的低功耗智能设备,只需要在集成后调优setVideoProfile、setAudioProfile参数即可正常通话。
目前,声网智能设备低功耗 SDK 已经应用于多类智能硬件产品上,包括智能手表、智能眼镜、智能音箱、智能摄像头、机器人、智能门禁等 IoT 设备,被集成于小天才、亮亮视野、小米等多个品牌的产品中。