大语言模型通识微课课件：智能体和环境.pptx

;智能体是人工智能领域中的一个很重要的概念，它指的是一个能自主活动的软件或者硬件实体。任何独立的能够思考并可以与环境交互的实体都可以抽象为智能体。

大模型在人工智能应用领域的重大突破，让人们看到了智能体新的发展机会。像ChatGPT和GPT-4这样的基于Transformer架构的大模型，成为了为智能体装备的拥有广泛任务能力的“大脑”，从推理、规划和决策到行动都使智能体展现出前所未有的能力。基于大模型的智能体将广泛深刻地影响人们生活工作的方式。;智能体通过传感器感知环境并通过执行器作用于该环境的事物。我们从检查智能体、环境以及它们之间的耦合，观察到某些智能体比其他智能体表现得更好，可以自然而然地引出理性智

能体的概念，即行为尽可能好。智

能体的行为取决于环境的性质。

图10-1智能体通过传感器和执行器与环境交互;一个人类智能体以眼睛、耳朵和其他器官作为传感器，以手、腿、声道等作为执行器。而机器人智能体可能以摄像头和红外测距仪作为传感器，各种电动机作为执行器。软件智能体接收文件内容、网络数据包和人工输入（键盘/鼠标/触摸屏/语音）作为传感输入，并通过写入文件、发送网络数据包、显示信息或生成声音对环境进行操作。环境可以是一切，甚至是整个宇宙。实际上，我们在设计智能体时关心的只是宇宙中某一部分的状态，即影响智能体感知以及受智能体动作影响的部分。;智能体这一概念主要作为分析系统的工具。理性智能体是做正确事情的事物。人工智能通常通过结果来评估智能体的行为。当智能体进入环境时，它会根据接受的感知产生一个动作序列，这会导致环境经历一系列的状态。如果序列是理想的，则智能体表现良好，这个概念由性能度量描述，评估任何给定环境状态的序列。;人类有适用于自身的理性概念，它与成功选择产生环境状态序列的行动有关，而这些环境状态序列从人类的角度来看是可取的。但是，机器没有自己的欲望和偏好，至少在最初，性能度量是在机器设计者或者机器受众的头脑中。一些智能体设计具有性能度量的显式表示，而在其他设计中，性能度量完全是隐式的，智能体可能会做正确的事情，但它不知道为什么。

应该确保“施以机器的目的是我们真正想要的”，但是正确地制定性能度量可能非常困难。例如，考虑真空吸尘器智能体，我们可能会用单个8小时班次中清理的灰尘量来度量其性能。然而，一个理性的智能体可以通过清理灰尘，然后将其全部倾倒在地板上，然后再次清理，如此反复，从而最大化这一性能度量值。更合适的性能度量是奖励拥有干净地板的智能体。例如，在每个时间步中，每个干净方格可以获得1分（可能会对耗电和产生的噪声进行惩罚）。作为一般规则，更好的做法是根据一个人在环境中真正想要实现的目标，而不是根据一个人认为智能体应该如何表现来设计性能度量。;在任何时候，理性取决于以下4方面：

（1）定义成功标准的性能度量；

（2）智能体对环境的先验知识；

（3）智能体可以执行的动作；

（4）智能体到目前为止的感知序列。

于是，对理性智能体的定义是：对于每个可能的感知序列，给定感知序列提供的证据和智能体所拥有的任何先验知识，理性智能体应该选择一个期望最大化其性能度量的动作。;需要区分理性和全知。全知的智能体能预知其行动的实际结果，并据此采取行动，但现实中这是不可能的，理性不等同于完美。理性使期望性能最大化，而完美使实际性能最大化。因此，对理性的定义并不需要全知，因为理性决策只取决于迄今为止的感知序列。

首先，考虑到这种缺乏信息的感知序列，过马路是不理性的：不观察路况就过马路发生事故的风险太大。其次，理性智能体在上街之前应该选择“观察”动作，因为观察有助于最大化期望性能。采取行动来改变未来的感知，有时被称为信息收集，这是理性的一个重要组成部分。;理性智能体不仅要收集信息，还要尽可能多地从它所感知到的东西中学习。智能体的初始配置反映对环境的一些先验知识，随着智能体获得经验，这可能会被修改和增强。在一些极端情况下，环境完全是先验已知和完全可预测的，这种情况下智能体只需要感知或学习，但这样的智能体是脆弱的。

一个理性的智能体应该学习如何弥补部分或不正确的先验知识。实际上，很少从一开始就要求智能体完全自主，除非设计者提供帮助，否则它将不得不随机行动。;构建理性智能体还必须考虑任务环境，它本质上是“问题”，而理性智能体是其“解决方案”。首先指定任务环境，然后展示任务环境的多种形式。任务环境的性质直接影响到智能体程序的恰当设计。

例如在讨论简单真空吸尘器智能体的理性时，必须为其指定性能度量、环境以及智能体的执行器和传感器（PEAS）描述，这些都在任务环境的范畴下。设计智能体时，第一步始终是尽可能完整地指定任务环境。;人工智能中可能出现的任务环境范围非常广泛。然而，我们可以确定少量的维度，并根据这些维度对任务环境进行分类。

完全可观测与部分可观