2024年RTE和AI融合生态洞察报告-InfoQ研究中心.docx

和AI

2024

ECRTEANDAICONVERGENCEINSIGHTSREPORT

EC

融合

OSYSTEM

』

前言

2024年，AI与实时互动技术的结合达到了前所未有的高度，推动了行业的发展与变革。5月，OpenAI发布了GPT-4o，并展示了其对话功能，仿佛电影《HER》中的智能助手走入了现实生活。紧随其后，6月，a16z发布了关于语音AI的展望报告，详细分析了这一市场的巨大潜力，并为未来的语音AI发展绘制了蓝图。之后，其他行业领军企业如Cartesia和BessemerVenturePartners也纷纷发布了自己的洞察报告，深入探讨了语音AI和实时互动技术的前景。

进入2024年10月，OpenAI宣布与Agora、Twilio等实时互动技术公司展开合作，同时，国内各大科技公司也陆续公布了在对话AI、多模态AI、语音AI等领域的技术布局和市场战略。这一切都标志着实时互动技术与AI的结合进入了一个全新的发展阶段。

随着这两项技术的深度融合，我们已经看到它们在多个领域和场景中展现出巨大的应用潜力，也赋予了智能体越来越可用的能力，语音助手可以帮助用户打电话、操作终端设备；AI能为用户提供情感陪伴；而能够纠正语音的口语陪练也让学习更加个性化和高效。这些创新的应用让智能体变得愈加智能、实用和贴近用户需求。

在这一背景下，RTE开发者社区与InfoQ研究中心联合发布了本份报告，旨在深入探讨实时互动技术与AI结合的现状、挑战与未来趋势。我们希望通过这份报告，为行业从业者、技术开发者以及创新者们提供有价值的洞察，帮助他们更好地理解技术融合的机遇与挑战，推动技术落地与应用创新。

本报告专注于探索如何利用实时互动技术与AI相结合，来提升用户体验，以及社区是如何帮助VoiceAgent生态建设和发展的。我们相

信，这些洞察将为行业的持续创新和发展提供重要参考。

前言

前言实时互动（RTE）行业定义回顾

在报告的开头，我们再次回顾实时互动（RTE）的定义。实时互动（RTE）是远程互动、多维沟通、身临其境的交互活动。对互联网技术架构提出更高要求，其特性主要体现在实时性和互动性两个方面。

实时互动（RTE）以实时性和互动性为核心特点

实时传输实时交互实时渲染实时性※实时接入

实时传输

实时交互

实时渲染

实时性

※

实时接入

实时互动（Real-TimeEngagement）

实时互动

（Real-TimeEngagement）

互动设备互动组件互动场景互动性互动网络

互动设备

互动组件

互动场景

互动性

互动网络

来源：信通院《实时互动产业发展研究报告2022》；声网研究院《实时万象——声网带你探寻实时互动的边界》

前言实时互动（RTE）行业定义回顾

0—CONTENT

0

—CONTENT

1

1

实

实

时互

时互

动与

动与AI

行业

行业

技术

技术

演进观

演进观

察与

察与

分析

分析

02

02

应用场

景新

挑战

,造就

VO

ICEA

GENT

新的

产业

架构

03

R

TE开

发者社

区架

起生

态桥梁

,加速

生态

沟通

0

04

实时

互动

智能生

态的

未来

发展预

测

01实时互动与AI行业技术演进观察与分析

01

实时互动与AI行业技术演进观察与分析

1.1AI应用落地时代：重新定义算力、数据与算法的价值，从技术驱动到价值赋能

在本轮浪潮的早期，行业的焦点集中在模型的规模与通用性上，尤其是对AGI的追逐。然而，随着时间的推移，越来越多的从业者开始转向AI的实际应用落地，寻求更具现实意义的创新与突破。AI1.0的三驾马车——算力、数据和算法，在这一新时代中展现出新的特征。但在应用落地的关键阶段，它们必须更加强调解决实际应用中的复杂挑战，才能真正推动AI的商业化进程和技术赋能。

传统1.0的三驾马车应用落地下，三驾马车的转变与新特征

算力

算力

数据算法

数据

算法

追求模型的大规模和全能

追求模型的大规模和全能

应用落地

基础设施层面

转向

A

算力分布不均，云边端模式仍在探索中

算力分布不均，云边端模式仍在探索中

当前云