RTE和AI融合生态洞察报告2024 .docxVIP

RTE和AI融合生态洞察报告

2024

RTE AND AI CONVERGENCE ECOSYSTEMINSIGHTSREPORT

前言

2024年，AI与实时互动技术的结合达到了前所未有的高度，推动了行业的发展与变革。5月，OpenAI发布了GPT-4o，并展示了其对话功能，仿佛电影《HER》中的智能助手走入了现实生活。紧随其后，6月，a16z发布了关于语音AI的展望报告，详细分析了这一市场的巨大潜力，并为未来的语音AI发展绘制了蓝图。之后，其他行业领军企业如Cartesia和BessemerVenturePartners也纷纷发布了自己的洞察报告，深入探讨了语音AI和实时互动技术的前景。

进入2024年10月，OpenAI宣布与Agora、Twilio等实时互动技术公司展开合作，同时，国内各大科技公司也陆续公布了在对话AI、多模态AI、语音AI等领域的技术布局和市场战略。这一切都标志着实时互动技术与AI的结合进入了一个全新的发展阶段。

随着这两项技术的深度融合，我们已经看到它们在多个领域和场景中展现出巨大的应用潜力，也赋予了智能体越来越可用的能力，语音助手可以帮助用户打电话、操作终端设备；AI 能为用户提供情感陪伴；而能够纠正语音的口语陪练也让学习更加个性化和高效。这些创新的应用让智能体变得愈加智能、实用和贴近用户需求。

在这一背景下，RTE开发者社区与InfoQ研究中心联合发布了本份报告，旨在深入探讨实时互动技术与AI结合的现状、挑战与未来趋势。我们希望通过这份报告，为行业从业者、技术开发者以及创新者们提供有价值的洞察，帮助他们更好地理解技术融合的机遇与挑战，推动技术落地与应用创新。

本报告专注于探索如何利用实时互动技术与AI相结合，来提升用户体验，以及社区是如何帮助VoiceAgent生态建设和发展的。我们相信，这些洞察将为行业的持续创新和发展提供重要参考。

前言

前言实时互动（RTE）行业定义回顾

在报告的开头，我们再次回顾实时互动（RTE）的定义。实时互动（RTE）是远程互动、多维沟通、身临其境的交互活动。对互联网技术架构提出更高要求，其特性主要体现在实时性和互动性两个方面。

实时互动（RTE）以实时性和互动性为核心特点

实时性

实时接入 实时传输 实时交互 实时渲染

实时互动

（Real-TimeEngagement）

互动性

互动网络 互动设备 互动组件 互动场景

01

CONTENT 实时互动与AI行业技术演进观察与分析

02

应用场景新挑战，造就VOICEAGENT新的产业架构

03RTE开发者社区架起生态桥梁，加速生态沟通

04实时互动智能生态的未来发展预测

01

实时互动与AI行业技术演进观察与分析

1.1 AI应用落地时代：重新定义算力、数据与算法的价值，从技术驱动到价值赋能

在本轮浪潮的早期，行业的焦点集中在模型的规模与通用性上，尤其是对AGI的追逐。然而，随着时间的推移，越来越多的从业者开始转向AI的实际应用落地，寻求更具现实意义的创新与突破。AI1.0的三驾马车——算力、数据和算法，在这一新时代中展现出新的特征。但在应用落地的关键阶段，它们必须更加强调解决实际应用中的复杂挑战，才能真正推动AI的商业化进程和技术赋能。

传统1.0的三驾马车 应用落地下，三驾马车的转变与新特征

算力分布不均，云边端模式仍在探索中

当前云、边、端的算力资源分布尚未均衡，具体分配需要根据场景

和行业特点动态调整。追求模型的大规模和全能

算力 基础设施层面 仍需要行业和场景的专有数据积累

应用

落地

转向

数据数量和质量的必要性已经得到普遍认可，但能捕捉行业需求独

特性的专有数据，其获取和积累往往面临隐私、安全等多重挑战。

数据 算法 算法逐渐形成共识，但如何精准把握需求仍是挑战

尽管以Transformer、LSTM为代表的主流深度学习架构在性能和效率上趋于稳定和成熟，但在实际落地过程中，仍需结合具体场景和行业需求进行优化，关注落地性能。

实时互动与AI行业技术演进观察与分析

1.2 AI与RTE从独立走向交融，共同开启实时互动体验新纪元

2024年，AI和RTE（Real-TimeEngagement，实时互动）这两个长期以来被视为相对独立的领域，正式开启了融合的序幕。

1998年

最早的CDN服务提供商Akamai诞生

RTE

2000年

音视频编解码工具及开发套件

FFmpeg开源

2011年

音视频实时通话框

架WebRTC开源

2013