清华大学-大模型工具学习（中英文）.pptx

工具学习;

背景;

?工具是人类能力的延伸，旨在提高生产力、效率和解决问题的能力

?纵观历史，人类一直是发明和操纵工具的主要媒介

?问题：人工智能在工具使用方面能像人类一样有能力

吗？;

?基础模型的答案是肯定的

?较强的语义理解

?广泛的世界知识

?强大的推理和计划能力...;

?工具学习[1]：基础模型可以遵循人类指令和操纵工具来解决任务;

?工具增强学习

?具有来自工具的执行结果的扩充基础模型

?工具被视为有助于产生高质量产出的补充资源;

?面向工具的学习

?利用模型来管理工具并代替人类做出顺序决策

?利用基础模型的广阔世界知识和推理能力进行复杂的推理和规划;

框架;

感知者汇总反馈给控制器;

?理解指令的基本目的

?学习从指令空间到模型认知空间的映射

?指令调整

?用不同的指令包装任务

?监督微调

?非凡的泛化能力;

?扩大模型大小和指令调整数据集的多样性

?泛化能力的增强

?挑战

?理解模糊指令：用户查询中的模糊和歧义

?理论上的无限指令空间：无限表达和个性化指令;

?通过提示激发工具理解

?零拍提示:

?描述API功能，其输入/输出格式，可能的参数等。

?允许模型了解每个API可以处理的任务

?少量提示：

?向模型提供具体的工具使用演示

?通过从这些演示中模仿人类行为，模型可以学习如何利用这些;

?通过提示激发工具理解;

?内省推理

?在不与环境交互的情况下生成静态计划

?外向推理

?生成考虑环境变化和反馈的动态计划;

?内省推理

?如果提示适当，PLM可以有效地将高级任务分解为中级计划，而无需任何进一步的培训;

?外向推理

?挑战：基础模型没有体现或扎根于物理世界

?解决方案：约束模型提出既可行又符合上下文的自然语言动作;

?外向推理

?内心独白[1]：将各种反馈来源的信息注入模型规划;

?多步骤多工具方案

?人类不会坚持一个场景和一个工具

?了解不同工具之间的相互作用

?模型不仅要了解单个工具，还要了解它们的组合用法并对工具进行逻辑排序

?从顺序执行到并行执行

?工具不必顺序执行，并行执行导致叠加效果

?从单代理问题解决到多代理协作

?复杂的任务通常需要多个代理之间的协作，每个代理都有其独特的专业知识;

?从演示中学习：通常涉及(人类)注释

?从反馈中学习：通常涉及强化学习;

?监督学习

?克隆人类行为以使用搜索引擎

?监督微调+强化学习

?只需要6,000个注释数据;

?动机

?WebGPT不是公开的，其内部运作仍然不透明

?我们的努力(WebCPM)

?开源交互式网络搜索界面

?第一个涉及交互式网络搜索的公共QA数据集，也是第一个中国

LFQA数据集

?框架和模型实现;

?接口(搜索模式)和预定义的操作;

WebCPM;

?我们的框架由两个模型组成：

?1.搜索模型，包括：

?行动预测模块

?搜索查询生成模块

?支持事实提取模块

?2.信息综合模型;

对于T个步骤的动作序列,搜索模型执行动作以收集支持事实,这些支持事实被发送到合成模型以用于答案生成。;

整体管道评价(基于人类偏好)模型生成的答案v.s.人类注释

支持事实的三个来源被发送到综合模型

(1)管道收集，(2)人工收集，(3)非交互式搜索(TF-IDF);

?学习进行网上购物;

?自监督工具学习

?预定义的工具API

?鼓励模型调用和执行工具API

?设计自监督损失，看看工具执行是否可以帮助语言建模;

?从工具用户到工具创建者

?人类是从石器时代到21世纪创造和使用工具的主要媒介

?大多数工具是为人类创造的，而不是AI

?为模型制作的工具

?模块化：将工具组成较小的单元

?新的输入和输出格式：更可计算且适用于AI;

工具创建;

?现有工程的限制

?大多数现有工作往往集中在有限数量的工具上

?用于确定工具最佳利用率的模型所采用的推理过程本质上是复杂的

?当前管道在检索执行结果后缺乏错误处理机制

?我们不是让LLM充当工具的用户，而是让他们成为创;

?四个程序

?创建

?Decision

?Execution

?整改;

?实验

?数据:数学、TabMWP

?对PoT和纯CoT的重大改进;

应用程序;

?OpenAI官方工具库

?为ChatGPT提