合规大脑助手：企业环境中协助合规任务的对话式代理 AI-计算机科学-人工智能-大脑助手.pdfVIP

合规大脑助手：企业环境中协助合规任务的

对话式代理AI

ShitongZhu*,ChenhaoFang*,DerekLarson*,NeelReddy

Pochareddy*,RajeevRao*,SophieZeng*,YanqingPeng*,Wendy

Summer*,AlexGoncalves,AryaPudota,HervéRobert

Meta

MenloPark,California,USA

本摘要1介绍

译本文介绍了合规性大脑助手（CBA），一款旨在提升企在当今世界，组织需要遵守来自多个来源的各种要求、

中业环境中人员日常合规任务效率的对话式代理AI助最佳实践和特定行业的规定。为了有效管理合规任务，

手。为了在响应质量和延迟之间取得良好的平衡，我组织会指派具有合规专业知识的专职人员来监督这些

1

v们设计了一个用户查询路由器，可以智能选择：(i)FastTrack责任。在整个过程中，这些专家经常受益于对话型聊

9

8：处理只需从知识语料库中检索相关上下文即可解决天机器人的帮助。通过提供对复杂主题的精确答案和

2的简单请求；和(ii)全代理性：处理需要组合操作和澄清，聊天机器人可以显著提高任务完成的效率和质

7

1工具调用来主动发现跨越各种合规性工件的上下文，量。

.

7并/或涉及其他API/模型以满足请求的复杂请求——在过去，模式匹配方案和传统的机器学习分类器

0

5一个典型的例子是从用户查询开始，使用其描述找到被用来将这类问题归类到预定义的标签中，并提供标

2特定实体，然后使用该实体的信息查询其他API来整准的回答或文档。然而，这些问题通常以自由流动的

:

v理并丰富最终的AI响应。散文形式出现，融合了复杂的词汇、工程术语和其他

i

x我们的实验评估将CBA与一款开箱即用的LLM在内部讨论中常见的术语。这些问題的复杂性和多样

r

a在各种针对不同角色的真实世界合规相关查询上进行性使得仅通过匹配现有回答来解答变得具有挑战性——

了比较。我们发现，在诸如平均关键词匹配率（83.7%在许多情况下，提供的答案可能与问题无关，或者它

对41.7%）和LLM判断通过率（82.0%对20.0%）等指标可能隐藏在一个用户必须筛选的冗长文档之中。更糟

上，CBA显著提升了基础LLM的表现，突显了我们以糕的是，如果问题存在歧义，回复可能没有解决工程

合规为导向的改进的有效性。我们也对比了完整路由师的实际关切，由于缺乏相关领域的背景知识，他们

设计与仅使用FastTrack和全代理性模式的各项指甚至可能没有意识到这一点。

标，发现其在保持响应延迟大致相同的情况下，具有我们正在寻找一个更智能的AI系统，能够更好地

更好的平均匹配率和通过率。这一发现验证了我们的帮助这些企业人员完成合规任务。理想情况下，它应

假设，即路由机制实现了两个世界之间的良好权衡。该理解问题的语义，澄清模糊表述，提供精确答案，在

交互中保持上下文，并根据工程师的专业水平调整解

释。更重要的是，助手应通过调用各种企业内部API来

∗作者贡献相同