生成式AI实战手册.docx

1/18

页码：2/148

目录

目录 2

AlAgent 大模型时代重要落地方向...................................................................................3

大模型微调方案设计和能力整合 15

大模型分布式训练的第四种境界 29

面向2026年的推荐算法前瞻 53

NVIDIA大语言模型落地的全流程解析 72

小布助手闲聊生成式算法 94

大模型的高效训练和部署技术卷出新高度！ 120

页码：3/148

AlAgent--大模型时代重要落地方向

导读：随着大语言模型的日趋成熟，各类基于大语言模型的AIAgent逐渐走入人们的视野。本文将梳理大语言模型Agent的相关知识点，并对大模型时代AIAgent的重要落地方向进行探讨。

今天的介绍会围绕下面五点展开：

1.LLM-basedAgent整体架构

2.LLM-basedAgent重点难点问题

3.基于大语言模型的用户行为模拟智能体

4.基于大语言模型的多智能体软件开发

5.LLM-basedAgent未来方向

分享嘉宾｜陈旭博士中国人民大学准聘副教授

编辑整理｜王吉东内容校对｜李瑶

出品社区｜DataFun

01

LLM-basedAgent整体架构

页码：4/148

大语言模型Agent的构成，主要分为以下4个模块：

1.画像模块：主要描述Agent的背景信息

下面介绍画像模块的主要内容和生成策略。

（1）画像内容，主要基于3种信息：人口统计信息、个性信息和社交信息。

（2）生成策略：主要采用3种策略来生成画像内容：

n手工设计方法：自行通过指定的方式，将用户画像的内容写入大模型的

prompt中；适用于Agent数量比较少的情况；

n大模型生成方法：首先指定少量画像，并将其作为示例，进而使用大语言模

型生成更多的画像；适用于大量Agent的情况；

n数据对齐方法：需要根据事先指定的数据集中人物的背景信息作为大语言模

型的prompt，进而做相应的预测。

2.记忆模块：主要目的是记录Agent行为，并为未来Agent决策提供支撑

页码：5/148

（1）记忆结构

n统一记忆：仅考虑短期记忆，不考虑长期记忆；

n混合记忆：长期记忆和短期记忆相结合

（2）记忆形式：主要基于以下4种形式

n语言

n数据库

n向量表示

n列表

（3）记忆内容：常见以下3种操作：

n记忆读取

n记忆写入

n记忆反思

3.规划模块

n无需反馈的规划：大语言模型在做推理的过程中无需外界环境的反馈。这类规划进一步细分为三种类型：基于单路的推理，仅使用一次大语言模型就可以完整输出推理的步骤；基于多路的推理，借鉴众包的思想，让大语言模型生成多个推理路径，进而确定最佳路径；借用外部的规划器。

n带有反馈的规划：这种规划方式需要外界环境提供反馈，而大语言模型需要基于环境的反馈进行下一步以及后续的规划。这类规划反馈的提供者来自三个方面：环境反馈、人类反馈和模型反馈。

4.动作模块

n动作目标：有些Agent的目标是完成某个任务，有些是交流，有些是探索。

页码：6/148

n动作生成：有些Agent是依靠记忆回想生成动作，有些是按照原有计划执

行特定的动作。

n动作空间：有些动作空间是工具的集合，有些是基于大语言模型自身知识，

从自我认知的角度考虑整个动作空间。

n动作影响：包括对环境的影响、对内在状态的影响，以及对未来新动作的影

响。

以上是Agent的整体框架，更多内容可参考下述论文：

LeiWang,ChenMa,XueyangFeng,ZeyuZhang,HaoYang,JingsenZhang,ZhiyuanChen,JiakaiTang,XuChen,YankaiLin,WayneXinZhao,ZheweiWei,Ji-RongWen:ASurveyonLargeLanguageModelbasedAutonomousAgents.CoRRab