HGMF：用于模型上下文协议中可扩展工具调用的分层高斯混合框架.pdfVIP

HGMF：用于模型上下文协议中可扩展工具调用的分层高斯混合框架

WenpengXingZhipengChenChangtingLinMengHan

ZhejiangUniversityBinjiangInstituteofZhejiangUniversityGenTel.ioJimeiUniversity

{wpxing,mhan}@zpchen@linchangting@

ABSTRACT调用的基本前提是模型能够根据用户的请求从给定的

库中选择适当的工具。

调用外部工具使大型语言模型（LLMs）能够执行复

虽然对于小规模且精心挑选的工具集来说这一选

杂的现实任务，但从中选择正确的工具仍然是一个重

择过程是有效的，但在工具库庞大并且分层组织的情

本大挑战，尤其是对于那些结构复杂、层次分明的库而

况下，它成为了一个显著的瓶颈。现代系统可能包含

译言。由于LLMs的有限上下文窗口和来自无关选项的

成千上万的嵌套在各种服务器或服务中的工具。将整

中噪音常常导致选择准确性低且计算成本高。为了解决

个集合呈现给大语言模型通常是不可行的，原因主要

1这个问题，我们提出了分层高斯混合框架（HGMF），

v有三个限制。首先，大多数大语言模型有限的上下文

2这是一种可扩展工具调用的概率剪枝方法。HGMF首

窗口禁止了包含广泛的工具描述。其次，即使上下文

0先将用户查询和所有工具描述映射到一个统一的语义

6窗口足够，大量无关工具的存在会引入显著的语义噪

7空间中。该框架随后分为两个阶段运行：使用高斯混

0.合模型（GMM）对服务器进行聚类，并根据查询的声，这会削弱模型的推理能力，并导致选择准确率大

8幅下降。第三，处理如此大的上下文会导致计算成本

0可能性对其进行筛选。然后，它将相同的基于GMM

5的聚类和筛选应用于所选服务器相关的工具。这种分过高和推断延迟增加，使得系统对于实时应用来说不

2切实际。

:层过程生成了一个紧凑且高度相关的候选集，简化了

v

i最终供LLM选择的任务。在公共数据集上的实验表现有缓解此问题的方法通常依赖于大型语言模型

x

r明，HGMF显著提高了工具选择的准确性并减少了推最终选择之前的初步过滤阶段。诸如关键词匹配或标

a

理延迟，证实了该框架对于大规模工具库的可扩展性准向量相似度搜索之类的方法可以减少候选池，但它

和有效性。们常常无法捕捉到用户查询的细微语义。此外，这些

方法通常将工具库视为一个扁平列表，从而忽略了服

IndexTerms—大型语言模型，工具调用，层次