腾讯天籁实验室是腾讯会议旗下顶尖的音视频通信和处理研发团队,前身是腾讯多媒体实验室的音频团队,专注于音视频实时通信技术的前瞻性探索,研究,应用和落地,致力于云会议等场景,研发业界领先的全链路实时音视频通信关键技术。 伴随着腾讯会议用户激增,背后的AI音频技术更加成熟。为两亿腾讯会议用户提供会议降噪,在亿级产品上进行了成熟验证后,天籁实验室决定开放他们的技术。他们与听障领域厂商、开发者一起,将技术用于人工耳蜗降噪、AI辅听和字幕识别优化等场景,帮助听障人群改善日常助听设备的佩戴舒适度、助听效果、聆听体验。
在国内助听行业,有两个奇怪的现象:
一方面,老年人听力障碍罹患率与人数双高,罹患听力障碍的老年人人数目前已达1.2亿。然而,中国老年人听力筛查与测试率低,佩戴助听器的比例和佩戴率极低,不足5%的渗透率低于全球平均17~18%的水平、远低于欧美30%的水平。
另一方面,助听器市场被峰力、奥迪康、唯听、瑞声达、斯达克五大国际巨头垄断,占据中国助听器市场90%以上的市场份额,而中国的助听器品牌和厂商,因为缺乏DSP芯片和算法核心技术,尽管产品价格远低于国际品牌,但市场份额仅占据中国市场5%左右。
尽管人群基数大,但认知偏低,加上国外巨头的垄断,国内助听市场一直处于不温不火的状态。
然而,这是一个刚刚开始的、亟待探索的广阔市场。单就过去的2022年而言,在助听器领域,就有近十家投融资事件,腾讯、阿里、小米、科大讯飞等大厂也纷纷以不同的方式进入了助听领域。
据动脉网的数据,博音听力、HEARIN.AI、小维健康、爱可声助听器、玖益医疗等都已完成融资,并且还有相当大一部分听力赛道的初创企业也都正在和资本接洽之中。
与绝大多数以助听器产品研发和生产为主要业务的企业不同,也与小米做投资、讯飞亲自下厂的做法不同,腾讯切入这条赛道的姿态——用一个非常恰当词来描述便是——轻盈。
这么一颗小小的种子是怎么来的呢?
初衷:将AI音频技术的价值外溢
这个由腾讯会议旗下的天籁实验室发起的项目,最早要追溯到2020年的一次「天籁行动」。
我们知道,2020年新冠疫情元年,腾讯会议大火。伴随着用户激增,腾讯会议背后的AI音频技术更加成熟。
为两亿腾讯会议用户提供会议降噪,在亿级产品上进行了成熟验证后,天籁实验室决定开放他们的技术。
他们与听障领域厂商、开发者一起,将技术用于人工耳蜗降噪、AI辅听和字幕识别优化等场景,帮助听障人群改善日常助听设备的佩戴舒适度、助听效果、聆听体验。
天籁行动不仅是腾讯AI音频技术在听障领域应用的价值外溢,也是腾讯技术公益的一个创新尝试。通过技术授权、公益科普、公益救助等方式,将社会责任真正融入产品及服务之中,帮助听障听损人群更好地融入数字社会。
产品化:小程序、APP、手机伴侣,用算法和软件应用打开突破口
天籁行动推出后的第二年,腾讯联合多家机构推出了线上数字测听工具,在线即可测试听力健康水平。
这是腾讯天籁实验室与腾讯SSV银发科技实验室共同开发的一款小程序——银发听力健康,它是国内首个集成听力筛查、听力科普及听损模拟的一体化小程序。
2022年3月,腾讯举办发布会,将天籁行动AI助听解决方案升级,首次推出助听器核心算法解决方案。
这是一套完全自研的助听器核心算法解决方案,可以将复杂场景下语音的清晰度和可懂度提升85%,进而让千元级的国产助听器也能有万元进口助听器的性能。
为推进方案的应用,天籁实验室积极扩大合作伙伴生态。
联合助听器厂商智听科技,推出挚听(腾讯天籁inside)助听器公益助老款,将自己的算法融入到成熟的助听器硬件中。
与人工耳蜗诺尔康一起推出了「人工耳蜗+手机伴侣」解决方案,使人工耳蜗的语音清晰度、可懂度提升40%。
与奥地利人工耳蜗厂商美笛乐联合推出了适用于听力测试、AI辅听、远程听力服务的APP美讯听宝,帮助听损者提升单音节识别率66%用以解决听障人士的远程问诊康复问题。
2023年,天籁行动的第四年,天籁inside助听解决方案全面升级。
在算法技术层面,围绕拾音、啸叫、降噪、宽动态范围压缩(WDRC)等功能进行迭代。同时,在助听音质、运行功耗、端到端时延等重要指标方面也进行了专项优化。
目前,联合辅听设备厂商,腾讯天籁行动通过开放腾讯天籁AI降噪技术,截至目前已经帮助446万用户完成听力水平筛查,1.1万听障人士进行言语康复训练,并向广东韶关500位听障老人捐赠天籁inside助听器。
进阶:远程听力服务平台
近期,天籁行动又迎来一次升级,推出了新的解决方案——腾讯会议天籁远程听力服务平台。在打通了筛查、测听之后,又在后期验配环节,助力听障人士完成有效佩戴助听器的「最后一公里」。
对于佩戴助听器的人士来说,助听器验配环节至关重要,但传统线下验配方式有其局限性,同时,专业验配师资源稀缺,且验配资源分布不均、效率有待提升。
目前,利用AI技术、云端协同和移动设备端,实现远程验配,已成为听力健康领域的行业趋势。最触手可得的例子就是苹果在iOS系统中加入了「听力保健」功能,通过iPhone和AirPodsPro就能完成轻度听损的测听。
在这种趋势下,原位测听、听力计测听、以及各类厂商自研的APP和线上远程验配方案陆续涌现。但对于AI技术能力较弱的国产助听器厂商而言,硬件之外,最多也只能做到测听,并不能提供远程验配功能(如智听)的服务。
未来听障人士安坐家中,打开腾讯会议APP,在腾讯会议应用市场中找到天籁远程听力服务平台,即可一键连接听力验配师,完成助听器验配。
而验配师也只需要进行简单的培训即可操作。同时,整个验配过程将基于场景进行AI自适应调整,提高助听器在不同场景下的适配性。
对话天籁实验室
腾讯为什么要做这件事?能否做好这件事?我们和腾讯会议天籁实验室主任商世东做了一轮对话。
加入腾讯前,商世东于2010年组建了杜比北京工程团队,任职杜比北京和悉尼工程团队高级总监9年。2019年初加入腾讯后,带领多媒体实验室音频技术中心,负责实时音视频SDK中的音频引擎、音频处理的设计和开发工作。目前,担任腾讯会议旗下天籁实验室主任,带领团队致力于云会议等RTC应用场景,打造全球领先的实时音频通信端到端解决方案。
深圳湾:腾讯为什么要进入助听这个赛道?
商世东:一方面,腾讯倡导的科技向善。另一方面,我们最初是腾讯多媒体实验室的音频团队,从QQ通话开始做起,已经有20多年音频技术的积累。后来音频团队分出来单独成立了天籁实验室,隶属于腾讯会议,而在腾讯会议的AI音频技术方面,我们也有了几年的积累。因此,在助听这个领域,能够发挥出我们的技术优势。
深圳湾:背靠腾讯会议平台,天籁实验室有很多在线数据的积累,数据又成为AI算法(比如会议降噪)的参照,但这些线上音频的经验,对于助听器这个线下的场景,会有哪些帮助呢?
商世东:天籁实验室采集了上千小时的语音噪声数据,利用天籁AI算法和深度学习能力,成功消除了300多种噪声。
线上和线下的技术原理是相通的。在线下场景,我们基于声纹的个性化语音增强技术,在降噪和听损补偿方面都有相应的调优方案,让听损用户的语音体验更加清晰流畅。
至于「啸叫」这类困扰,我们还有一套啸叫抑制系统。经过用户反复测试,可以让千元级的国产助听器,效果媲美万元进口助听器的性能。
我们特别考虑了助听器体积小、功耗高、芯片能够提供的算力资源非常有限,因此对AI算法模型进行了深入的研究。
深圳湾:国内助听器厂商为什么会选择与你们合作呢?
商世东:我们去年已经推出了面向助听器的解决方案,在延迟、音质嘈杂环境下面的降噪、抗啸叫能力非常出色,能够做到进口品牌两、三万产品级水平。
国内很多助听器厂商在渠道、设计、结构上优势明显,而我们的助听器方案能够跟厂商形成很好的互补,各自做自己擅长的事情。
深圳湾:腾讯未来会自己做助听器产品吗?
商世东:天籁行动从最开始启动时就没有准备做助听器,我们只是在算法研发、远程验配、听力测试、公益运营这几个方面持续投入。
我们主要面向助听器厂商,以技术授权的方式合作,但自己不做助听器。
湾里小结
天籁实验室利用腾讯会议AI音频技术的积累,以公益的初心开拓新领域,用软件和远程验配服务,帮助助听设备厂商打通从助听器到测听、验配的闭环,为国内助听行业的发展打开了新格局。
来源:深圳湾2023-06-28,原题《腾讯会议 AI 音频技术的价值外溢,用软件和服务为助听行业打开新格局》
主笔:陈壹零/深圳湾编辑:陈述/深圳湾