2024 Agent+RAG：基于大模型的融合应用探索（八大案例，共146页）.pdf

目录

实时语音交互的游戏队友——网易伏羲AIAgent创新应用1

蚂蚁集团的创新实践：agentUniverse在泛金融场景的多智能体应用15

开源框架ModelScope-Agent加速多智能体应用构建33

小米公司Con2024-Agent技术在语音助手场景中的应用50

RAG在办公领域的探索与实践71

Elasticsearch8让企业更快更好地落地RAG应用92

西门子利用LLM打造通用公司智能助理的实践104

阿里云PAI大语言模型微调训练实践123

实时语音交互的游戏队友——网易伏羲AI

Agent创新应用

导读：在PVP多人对战类的游戏中，社恐玩家的社交和情绪价值、对战局的操

控感，无法得到有效满足。因此，网易伏羲助力《永劫无间》手游率先发布了全

球首创的游戏Copilot-多模态实时交互的语音AI队友。它可以在战斗中自主

跑图、战斗、听指令、报战况，还会和玩家进行自由对话，给玩家带来极高的情

绪价值。本文将重点讲解语音AI队友的设计和实现，及其背后的AOP

（Agent-Oriented-Programming，面向智能体编程）框架，最后还会分享语

音技术在游戏场景的一些创新应用。

今天的介绍会围绕下面4点展开：

1.网易伏羲介绍

2.语音AI队友的设计与实现

3.Agent能力迭代-AOP数据闭环

4.语音技术在其他游戏场景的应用

分享嘉宾｜莫名网易网易伏羲语音技术负责人

编辑整理｜晏世千

内容校对｜李瑶

出品社区｜DataFun

1146

页码：/

01

网易伏羲介绍

网易伏羲是国内首个游戏人工智能研究机构，自2017年成立以来，已在全球各

类学术顶级会议中发表270余篇学术论文，并持有600多项技术专利，为人

工智能、元宇宙、数字孪生、智能决策技术等众多前沿科技领域的理论研究和实

践应用做出贡献。

自成立以来，网易伏羲不断推陈出新，积极探索前沿技术和应用场景，实现了游

戏AI领域的多项创新技术突破，推出了基于照片、文字的AI捏脸、智能NPC、

剧组模式、语音交互式捏脸和语音AI队友等多个行业首创的AI应用。通过将

AI技术融入游戏系统的各个层面，网易伏羲成功助力《逆水寒》手游、《永劫

无间》手游等游戏打造多项创新玩法，极大地提升了玩家的游戏体验。

近期，网易伏羲助力《永劫无间》手游推出全新的游戏Copilot——“语音AI队

友”，该玩法一经推出即受到玩家的高度评价，相关用户生成内容迅速登上抖音

2146

页码：/

和B站热门榜单。

02

语音AI队友的设计与实现

传统游戏中，机器人往往存在行为呆板、缺乏互动交流等问题。对于有社交焦虑

的玩家，他们希望在避免与真人玩家直接语音交流的同时，仍能享受游戏中的社

交体验及多人对战的乐趣。此外，玩家匹配到技术不佳或配合度低的队友，会导

致游戏体验不佳。因此，玩家希望能够找到一个既能提供高质量的游戏技巧支持

又能陪伴聊天的对象，从而满足自身情绪需求，提升整体游戏体验。

为了满足玩家对于游戏互动性和情绪价值的需求，《永劫无间》手游推出了一种

多模态实时交互的语音AI队友。AI队友能够在战斗中自主跑图、执行战术动

作，并根据玩家指令汇报战况。此外，它还能与玩家进行自然对话，提供情感支

持。对于新手玩家，该语音AI队友还具备教学引导功能，可以帮助他们更快地

熟悉游戏机制。

3146

页码：/

在《永劫无间》手游中设计的AI队友Agent能够综合处理游戏环境中的状态

变化和玩家输入的语音信息。基于对当前环境状况的认知、决策能力，以及利用

游