人工神经网络 - read.ppt

人工神经网络 人工神经网络 模仿人脑工作方式而设计的一种机器，它可以用电子或光电元件实现，也可用软件在常规计算机上仿真；或者说NN是一种具有大量连接的并行分布式处理器（但是该处理器与传统计算机的处理器相比，极为简单，只是周期性的接受信号及周期性的发送信号到其他处理器），它具有通过学习获取知识并解决问题的能力，且知识是分布存储在连接权（对应于生物神经元的突触）中，而不是向常规计算机那样按地址存在特定的存储单元中。 生物神经元的结构 神经元的结构模型 感知器 根据网络结构，可以写出第i个输出神经元的输出， 感知器中使用了符号阈值函数单元，因此使感知器能够将输入向量分为两个区域，则有 感知器学习规则 学习规则是用来计算网络的新的权值和阈值的算法，感知器利用其学习规则来调整网络的权值和阈值，使该网络的输出最终达到目标的期望值。 对于输入向量P，输出向量α，目标矢量为t的感知器，该感知器的学习误差为e，则e=t- α 。此时感知器的权值与阈值修正公式为： 感知器学习规则 则更新的权值与阈值为 : 感知器神经网络的训练 神经网络在应用之前必须经过训练，由此决定网络的权值和阈值。感知器的训练过程为： 对于给定的输入向量P，计算网络的实际输出为α ，并于相应的目标向量t进行比较，用得到的误差e，根据学习规则进行权值和阈值的调整；重新计算网络在新权值作用下的输入，重复权值调整过程，直到网络的输出与目标值相等或者训练的次数达到预想设定的最大值时结束训练。 感知器学习规则 感知器的局限性 （1）由于感知器的激活函数是阈值函数，则感知器神经网络的输出只能取0或1。因此感知器只能适用于简单的分类问题。 （2）感知器神经网络只能对线性可分的向量集合进行分类。理论上已经证明，只要输入向量是线性可分的，感知器在有限的时间内总能达到目标向量。但是如何确定输入向量是否线性可分，尤其当输入向量增多时，更难以确定。—般只有设置一定的循环次数，对网络进行训练而判定它是否能被线性可分。 （3）当感知器神经网络的所有输入样本中存在奇异的样本，即该样本向量同其他所有的样本向量比较起来特别大或特别小时，网络训练花费的时间将很长。解决这种问题的方法可以采用标准化感知器学习规则。 感知器计算说明 例1：苹果和橘子的自动分类问题 用一组传感器测量水果的三个特征：外形、质地和重量。如果水果基本上是圆形的，外形传感器输出为1，若水果接近于椭圆，外形传感器输出为0；如果水果表面光滑，质地传感器输出为1，若水果表面粗糙，质地传感器输出为0；如果水果重量超过1磅，重量传感器输出为1，若水果轻于1磅，重量传感器输出为0； BP神经网络 BP网络 神经元分层排列，分别组成输入层、中间层（也叫隐含层，可以由若干层组成），和输出层。每一层的神经元只接受来自前一层神经元的输入，后面的层对前面的层没有信号反馈。输入模式经过各层的顺序传播，最后在输出层得到输出。 BP网络学习算法 2.BP网络后退算法 神经网络应用 函数预测 字符识别 * 用矩阵来表示相应的权值与阈值更新公式: 对应于线性判别函数 对线性可分问题，算法收敛，对线性不可分的数据，算法不收敛 神经网络的学习方法 神经网络的学习：从环境中获取知识并改进自身性能，主要指调节网络参数使网络达到某种度量，又称为网络的训练 学习方式： 监督学习 非监督学习 再励学习 学习规则(learning rule)： Hebb学习算法 误差纠正学习算法 竞争学习算法 监督学习 对训练样本集中的每一组输入能提供一组目标输出 网络根据目标输出与实际输出的误差信号来调节网络参数 教师 神经网络 比较 环境 实际输出 输入 期望输出 误差信号 p(n) t(n) a(n) e(n) 学习方法 非监督学习与再励学习 非监督学习：不存在教师，网络根据外部数据的统计规律来调节系统参数，以使网络输出能反映数据的某种特性 再励学习：外部环境对网络输出只给出评价信息而非正确答案，网络通过强化受奖励的动作来改善自身的性能 神经网络 环境 输入 神经网络 环境 输入 输出 评价信息 学习方法 Hebb学习 Hebb学习规则： Hebb学习规则的物理解释：输入输出同时兴奋时，相应的权值得到加强 几乎所有的神经网络学习算法可看成Hebb学习规则的变形 学习常数 学习方法 第八章 人工神经网络 * 误差纠正学习 对于输出层第k个神经元的实际输出: ak(n)目标输出: tk(n) 误差信号: ek(n) = tk(n) - ak(n)目标函数为基于误差信号ek(n)的函数，如误差平方和判据(sum squared error, SSE)，或均方误差判据(mean squared error, MSE, 即SSE对所有样本的期望) 学习方法 SSE