人工智能03-33.ppt

第3章 神经网络 引言 训练单个TLU 神经网络 一般化、准确度和过度拟合 补充读物和讨论 3.1 引言 问题的本质：不能给出从特征向量到动作的映射函数。即程序员不能进行编程实现该映射 3.1 引言(2/4) 讨论S-R机器执行动作的选择计算是如何通过与每个输入的适当的动作配对的一组输入实例来学习的。讨论可调节权值的TLU网络。网络系统通过不断调节权值，直至其动作计算表现令人满意来完成学习。 TLU网络称为神经网络（neural network）。这里把网络视为有趣且有用的工程设备。 3.1 引言(3/4) 考虑以下学习问题：给定一个由n维向量X组成的集合Ξ，分量为xi, i=1…n。这些向量将是由一个响应agent的感知处理单元计算出的特征向量。这些分量的值可以是数值，也可以是布尔值。 已知集合Ξ中每个X所对应的恰当的动作a。这些动作也许是学习者观察到的一个教师对一组输入的响应。这些相关的动作有时称为向量的标号（label）或类别（class）。集合与相应的标号组成了训练集合（training set）。 机器学习的问题就是寻找一个函数f(X)，令人满意地与训练集合的成员相对应。因为同时给出了标号和输入向量，我们认为这一学习过程“受到监控”。 3.1 引言(4/4) 问题在于：即使能找到一个可对训练集合作出正确响应的函数，有何理由相信它能对训练过程中未遇到的输入作出正确的响应呢？ 一些实验数据证明它可以，另外，还有一种理论证明（在一定条件下）若此训练集合对于其他可能会遇到的输入种类来说具备“代表性”，那么，这些输入“可能”会“引发”“几乎正确”的输出。 请参阅可能接近正确（probably approximately correct, PAC）的机器学习理论。 3.2 训练单个TLU TLU几何学 若用TLU来计算一个动作，则其输入应为数值；若感知处理过程产生类别特征，那么应用某种方法将其转为数字。当然，用单个TLU来计算动作的响应机器只能根据TLU的两种可能输出做出两种动作。 单TLU也称为perceptron和Adaline（即可调节线性元素）。对一个TLU的训练是通过调节其可变权值来实现的 3.2.1 TLU几何学 一个TLU由其权值和阀值来定义。权值（w1,…,wi,…wn）可由一个权向量W来表示。我们用θ来表示TLU的阀值。假设输入向量X，具有数字分量（这样才能计算这些数字分量的加权总和）。若向量点积s=X?W，比θ大，则TLU输出为1；否则为0。TLU用一个线性边界把输入向量的空间分开。在二维空间里，此边界为一条线，而在三维空间里为一个平面。在多维空间里此线性边界称为“超平面（hyperplane）”。此超平面把X?W- θ0与X?W- θ0的向量分开。超平面方程为X?W- θ=0。 可以通过调节阀值来改变超平面（相对原点）的位置，而通过调节权值可以改变其方向。 注意TLU的输入、输出和阀值的概念。 3.2.2 扩充向量 实际上，调节一个TLU的权值有好几个方法。如果我采用TLU的阀值总是等于0这一常规约定，就会简化对这些方法的解释。与此不同，运用“n+1”维扩充向量来实现任意阀值。 扩充输入向量的第n+1个分量的值总为1；扩充权向量的第n+1个分量，Wn+1,设定为所希望的阀值θ的负值。 当采用n+1维扩充向量，那么当X?W0，输出为1；否则为0 3.2.3梯度下降方法 定义一个误差函数 式中，f是TLU对输入Xi的实际响应，d是所希望的响应。 对于固定的Ξ来说， ε（通过fi)依权值而定。可以通过下降梯度求到ε的最小值。为了计算下降梯度，先计算权空间中的ε梯度；然后把权向量沿此梯度的反方向（下山）移动。计算ε的梯度的难度之一，就是ε依Ξ中所有输入向量而定。 通常，倾向于先用Ξ中的一个成员，对其权值进行调节后，再用Ξ中的另一个成员——一个运用由已作了标号的输入向量所组成的序列∑的递增训练过程。当然，递增训练的效果只能接近所谓的批处理方式的效果。然而，这一近似值通常十分有效。 3.2.3梯度下降方法 一个单输入向量X（当所希望的输出为d时引发输出f）的平方差为 ε对权值的梯度为 （标量?对向量W的梯度有时表示为?W ? ）。由于ε对W的依赖完全通过点积s= X ?W产生,故可用链式规则（chain rule）书写如下： 然后，因为 ，故 注意到： 所以 3.2.3梯度下降方法 在求f对s的偏导数时遇到一个问题。由于阀值函数的存在，TLU的输出f对s而言不是连续可导的。点积中许多微小的变化根本无法改变f，而且f一发生变化就从1变到0或从0变到1。 解决此问题有两种程序：一种是忽略阀值函数，且另f=s；另一种是用一个可求导的非线性函数替代此阀值函数。 问题：