大语言模型基础(微课版）课件 第9章 大模型智能体.pptx

;;随着计算能力的提升和大数据的出现，人

工智能有了显著的发展，深度学习和机器

学习技术的突破使人工智能在视觉识别、语言处理等领域取得惊人的成就，随之兴起的智能体标志着人工智能从单纯的任务执行者转变为能够代表或协助人类做出决策的智能实体，它们在理解和预测人类意图、提高决策质量等方面发挥着越来越重要的作用。

智能体是人工智能领域中的一个重要概念，它指的是一个能自主活动的软件或者硬件实体。任何独立的能够思考并可以与环境交互的实体都可以抽象为智能体。;大模型在人工智能应用领域的重大突破，给智能体带来了新的发展机会。像ChatGPT这样的基于Transformer架构的大模型，成为为智能体装备的拥有广泛任务能力的“大脑”，从推理、规划和决策到行动都使智能体展现出前所未有的能力。基于大模型的智能体将广泛深刻地影响人们生活工作的方式，由于可以更好地理解和应对复杂多变的现实世界场景，具备更强的智能和自适应能力。因此，智能体被认为是通往通用人工智能（AGI）的必经之路。;;PART01;智能体通过传感器感知环境并通过执行器作用于该环境的事物。我们从检查智能体、环境以及它们之间的耦合，观察到某些智能体比其他智能体表现得更好，自然引出了理性智能体的概念，即行为尽可能好。智能体的行为取决于环境的性质，环境可以是一切，甚至是

整个宇宙。实际上，设计智能体时关心的

只是宇宙中影响智能体感知以及受智能体

动作影响的某一部分的状态。

图9-2智能体通过传感器和执行器与环境交互;一个人类智能体以眼睛、耳朵和其他器官作为传感器，以手、腿、声道等作为执行器。而机器人智能体可能以摄像头和红外测距仪作为传感器，各种电动机作为执行器。软件智能体接收文件内容、网络数据包和人工输入（键盘/鼠标/触摸屏/语音）作为传感输入，并通过写入文件、发送网络数据包、显示信息或生成声音对环境进行操作。;术语“感知”用来表示智能体的传感器知觉的内容。一般而言，一个智能体在任何给定时刻的动作选择，可能取决于其内置知识和迄今为止观察到的整个感知序列，而不是它未感知到的任何事物。从数学上讲，智能体的行为由智能体函数描述，该函数将任意给定的感知序列映射到一个动作。;可以想象，将描述任何给定智能体的智能体函数制成表格，对大多数智能体来说这个表格会非常大，事实上是无限的（除非限制所考虑的感知序列的长度），当然，该表只是该智能体的外部特征。在内部，人工智能体的智能体函数由智能体程序实现。智能体函数是一种抽象的数学描述，而智能体程序是一个可以在某些物理系统中运行的具体实现。;我们来看一个简单的例子——真空吸尘器。在一个由方格组成的世界中，包含一个机器人真空吸尘器智能体，其中的方格可能是脏的，也可能是干净的。考虑只有两个方格——方格A和方格B——的情况。真空吸尘器智能体可以感知它在哪个方格中，以及方格中是否干净。从方格A开始，智能体可选的操作包括向右移动、向左移动、吸尘或什么都不做（其实，真正的机器人不太可能会有“向右移动”和“向左移动”这样的动作，而是采用“向前旋转轮子”和“向后旋转轮子”这样的动作）。一个非常简单的智能体函数如下：如果当前方格是脏的，就吸尘；否则，移动到另一个方格。;;人工智能通常通过结果来评估智能体的行为。当智能体进入环境时，它会根据接受的感知产生一个动作序列，这会导致环境经历一系列的状态。如果序列是理想的，则智能体表现良好，这个概念由性能度量描述，评估任何给定环境状态的序列。;人类有适用于自身的理性概念，它与成功选择产生环境状态序列的行动有关，而这些环境状态序列从人类的角度来看是可取的。但是，机器没有自己的欲望和偏好，至少在最初，性能度量是在机器设计者或者机器受众的头脑中。一些智能体设计具有性能度量的显式表示，但它也可能是完全隐式的。智能体尽管会做正确的事情，但它并不知道这是为什么。;有时，正确地制定性能度量可能非常困难。例如，考虑真空吸尘器智能体，我们可能会用单个8小时班次中清理的灰尘量来度量其性能。然而，一个理性的智能体可以通过清理灰尘，然后将其全部倾倒在地板上，然后再次清理，如此反复，从而最大化这一性能度量值。更合适的性能度量是奖励拥有干净地板的智能体。例如，在每个时间步中，每个干净方格可以获得1分（可能会对耗电和产生的噪声进行惩罚）。作为一般规则，更好的做法是根据一个人在环境中真正想要实现的目标，而不是根据一个人认为智能体应该如何表现来设计性能度量。;即使避免了明显的缺陷???一些棘手的问题仍然存在。例如，“干净地板”的概念是基于一段时间内的平均整洁度。然而，两个不同的智能体可以达到相同的平均整洁度，其中一个智能体工作始终保持一般水平，而另一个智能体短时间工作效率很高，但需要长时间的休息。哪种工作方式更可取，这似乎是保洁工作的好课题，而实际上还是一个具有深远影响