第六部分人工神经网络模型.pptVIP

第六章 人工神经网络模型 我们不可能对生物学上的神经网络作完全的了解，只可能在某种成度上描述我们所了解的情况。同样，人工神经网络也只可能是在某种程度上对真实的神经网络的一种模拟和逼近。 § 6.1神经元模型 生物神经元模型 神经元neuron,neural cell也就是神经细胞。人脑就是由大量神经元组合而成的。 神经元由 细胞体、树突和轴突组成。 中心 接受器 传导信息 人工神经元模型，如图所示(threshold) 某个神经元 j 的输入—输出关系为其中， 为阀值， 为连接权，f(?)为变换函数，  也称活化函数(activation function)。变换函数的种类有很多种，可参见孙p.126。其中用得最多的是比例函数 y=f(x)=s 和 S-型函数，Sigmoidal function §6.2 感知器 (perceptron) 感知器是一种非常特殊的神经网络，它在人工神经网络的发展历史上有着非常重要的地位，尽管它的能力非常有限，只能用于线性分类。 我们以单层感知器来说明： 两个输入 x1 和 x2 。 一个阀值 θ 两个待调整的权值W1和W2 决策函数为 样本集分别属于2类。 很显然，正确分割这两类样本的直线 方程为d(z)=0具体的算法如下，用于确定wi和θ 随机给定一组连接权ωi(k), i= 0，1，2。K=0，表示初始值。 任取其中一个样本 为期望的输出值，或者是期望的函数决策值。 按下式调整连接权?0为学习率 在样本集中另选一个样本，并置k+1?k，重复steps (2)-(4) until 为什么？表示此时的d(x)已能正确分类，∴无须修改。这里介绍的感知器，由于只有一层，故而其分类能力非常有限，不能处理XOR问题。 所以在1969年，Minsky和Papert发表了名为Perceptron的专著, 书中指出,这样的简单的线性感知器的功能非常有限，使得随后的研究处于低潮。 § 6.3 人工神经网络 前面介绍的感知器已给了我们一个大概的认识，即NN是怎么回事。它是一个并行和分布式的信息处理网络。由许多神经元组成，每个神经元有单个的输出，它可以连接到很多其他的神经元。 每个结点（node)有一个状态变量xj 结点i到j 的连接权为 每个结点有一个阀值 每个结点有一个变换函数 比如说BP网，也称MLP，即多层感知器，其网络结构为： 这是一种前馈型网络，CMAC也是一种前馈型网络，但是有点特别。(feedforward network) 另一种是反馈型网络NN(neural network)的特点 单个神经元的处理速度，比计算机要慢很多。 大量Neurons 并行处理 容错能力强，部分内容损坏，仍可工作。 BP网的算法见PP133-136请大家考虑一个问题，即除输入层之外的其他层的每个节点的输出=？ 误差如何反向传播? § 6.4 BP算法及推导 BP其实就是Error Back Propagation BP算法实质上是梯度法的一种应用结果 梯度法 考虑无约束问题， 其中函数f(x)一阶连续可导。 梯度法就是在点x处以f(x)的负梯度方向进行搜索的一种优化方法，其迭代公式， 其中， 是从 出发的搜索方向，取最速下降方向 训练用的性能指标为 带隐含层的BP网 证明 采用Sigmoid激发函数的BP算法 1 置各权值和阈值的初值 为小的随机数 2 输入学习样本对 ，对各样本进行（3-5） 3 计算网络各层的输出 4 计算训练误差 5修正权值和阈值momentum term 6 对所有样本训练后，指标是否满足精度要求？ 满足：结束训练。否则，转到（2）继续训练。 (x1, x2) y (0, 0) 0 (1, 0) 1 (0, 1) 1 (1, 1) 0 Y=|sin(x)| Due May 28, 2002 * * θ 是步长,可按下式确定,但实际凭经验. 简单的Delta规则 设有P个样本对, 对于输入 期望输