AI+RTC：如何用实时音视频技术创造AI实时对话自然交互.pptxVIP

AI+RTC：如何用「实时音视频技术」

创造「AI实时对话自然交互」;;;

AI对话应用场景;;

RTC+AI的方案不断优化

?在嘈杂的地铁场景中，用户仍可通过语音与大模型完成复杂问题交互，且支持随时打断和话题切换，接近真人对话体验

有效提升对话轮次和客户粘性

?相比仅用IM单次对话，加入AI实时语音对话平均轮次提升3-5倍;?虚拟体验需求，一段虚拟的剧情体验,?

用户使用该产品的目的性比较明确，

通过和AI的互动获得「情绪价值」?

?想办法满足更广泛人群的虚拟体验需求，成为一个大DAU的产品;

?LLM+VoiceAgent是下一代交互的开始：低延迟、高智能。

?长链路的延迟是用户难以接受的，RTC+LLM使得延迟降低，加入了智能打断等功能让用户交互起来更像在于真人交流。

?这对于互动/实时要求性高的教育场景具有显著意义。典型场景如语言学习、儿童兴趣引导、阅读伴侣等。

实时字幕+AI助手同声传译语言学习、口语陪练多模态能力解题讲解;

（一）手机电脑硬件行业;

（二）智能家居行业;

（三）智能穿戴设备;

应用场景05:对话式AI在游戏中的应用场景;;

实现呼入

绑定智能体至电话号码，用户呼入后由智能体接待。;

?语音交互更加自然流畅，能够准确识别各种口音和复杂语义，用户通过语义打断

?视觉交互取得新突破

?垂直场景进一步深化，目前还属于探索期，25年有可能迎来新的爆发，例如，教育领域出现单月使用超100小时的AI辅助教学场景

?“物理实体”是“陪伴赛道”中与“智能”同等重要的要素：搭配了物理实体的“AI陪伴”产品可以走得更远;

TRTC实时对话式AI解决方案;

现有的AI语聊场景主要是基于IM场景的离线文字聊天或者语音聊天，GPT-4o的发布，把多模态大模型的应用场景提升到了实时的语音或者视频交互。

使用TencentRTC，结合第三方的大模型和TTS等，您可以轻松创建一个媲美GPT-4o所演示的A实时交互体验，应用到您的业务场景内。;;

WEBDEMO在线体验：

/prerelease/component/experience-

center/index.html#/detail?scene=ai;

大模型预请求动态插入语气词/寒暄语基于语义的句子边界识别

实现智能分片边界判断，精准识别网址、

markdown格式、公式等复杂文字的边界判断，适配更多语种;;

?建立声纹特征提取模型，实

现实时说话人身份确认和切换检测;

?支持兼容OpenAIAPI规范的厂商

?无缝对接Coze/Dify等主流Agent平台

?支持RAG知识库增强能力，支持FunctionCall功能扩展;

多平台支持

已支持TTS厂商包括

?腾讯

?Minimax

?Azure?火山

?Elevenlabs

?Cartesia

允许自定义TTS接入;

1）打断信令说明

使用JSON格式的自定义消息

2）使用方法

通过SDK的sendCustomCmdMessage方法发送上述自定义消息即可实现手动打断。;

优化实时性能;

TRTC产品介绍和核心优势;;;;

中东;

典型合作客户;

感谢观看！

Thankyou;

AI语音交互软硬件的实践路径与

场景创新

魔镜云科技董事长：曾随城

2025年4月17日;

1第一章公司简介与产品定位

2第二章项目里程碑和开发经验

3第三章产品案例与应用场景

4第四章市场趋势与未来方向

5第五章结束语与合作展望;

TIT;;

公司背景

魔镜云科技成立于2019年，专注于AI

语音交互硬件的研发与创新，致力于

通过智能技术提升用户的生活质量和

工作效率。

技术实力

?依托东华大学、华中科技大学、华中师范大学、深圳大学等著名研究机构，专注于AI应用开发、模型训练。

?出版书籍被选为大学虚拟现实专业的教材;

我们是谁？

专注AI语音交互软硬件一体解决方案

聚焦“语