智能信息技术基础-4神经.pptVIP

神经网络信息处理Neural Networks Information Processing 封筠 Email：fengjun7171@ :6621/ User: Student.feng 08-03 Outline 一、引言 二、ANN基本原理 三、感知器 四、 BP神经网络 五、径向基函数神经网络（RBF） 六、反馈型神经网络（Hopfield） 七、模糊神经网络 八、ANN信息处理应用 三、感知器 1、感知器的提出 2、离散单输出感知器训练算法 3、离散多输出感知器训练算法 4、连续多输出感知器训练算法 5、线性不可分问题 3、离散多输出感知器训练算法 样本集：{(X,Y)|Y为输入向量X对应的输出} 输入向量：X=(x1,x2,…,xn) 理想输出向量：Y=(y1,y2,…,ym) 激活函数：F 权矩阵W=(wij) 实际输出向量：O=(o1,o2,…,om) 3、离散多输出感知器训练算法 4、连续多输出感知器训练算法 用公式wij=wij+α（yj-oj）xi取代了算法3-2 第2.1.3步中的多个判断 yj与oj之间的差别对wij的影响由α（yj-oj）xi表现出来 好处：不仅使得算法的控制在结构上更容易理解，而且还使得它的适应面更宽 4、连续多输出感知器训练算法 5、线性不可分问题 四、 BP神经网络 1、 BP网络的提出 2、基本BP算法 3、算法的改进 4、算法的实现 5、算法的理论基础 6、几个问题的讨论 1、 BP网络的提出 BP算法的出现 非循环多级网络的训练算法 UCSD PDP小组的Rumelhart、Hinton和Williams于1986年独立地给出了BP算法清楚而简单的描述 1982年，Paker就完成了相似的工作 1974年，Werbos已提出了该方法 弱点：训练速度非常慢、局部极小点的逃离问题、算法不一定收敛。 优点：广泛的适应性和有效性。 2、基本BP算法 2、基本BP算法 输入向量、输出向量的维数、网络隐藏层的层数和各个隐藏层神经元的个数的决定 实验：增加隐藏层的层数和隐藏层神经元个数不一定总能够提高网络精度和表达能力。 BP网一般都选用二级网络。 2、基本BP算法 2、基本BP算法 2、基本BP算法 应该将net的值尽量控制在收敛比较快的范围内 可以用其它的函数作为激活函数，只要该函数是处处可导的 2、基本BP算法 2、向后传播阶段——误差传播阶段： （1）计算实际输出Op与相应的理想输出Yp的差； （2）按极小化误差的方式调整权矩阵。 （3）网络关于第p个样本的误差测度： 2、基本BP算法 2、基本BP算法 2、基本BP算法 2、基本BP算法 2、基本BP算法 3、算法的改进 3、算法的改进 3、算法的改进 3、算法的改进 3、算法的改进 4、算法的实现 4、算法的实现 4、算法的实现 4、算法的实现 5、算法的理论基础 5、算法的理论基础 5、算法的理论基础 5、算法的理论基础 5、算法的理论基础 5、算法的理论基础 5、算法的理论基础 5、算法的理论基础 5、算法的理论基础 5、算法的理论基础 5、算法的理论基础 5、算法的理论基础 5、算法的理论基础 5、算法的理论基础 6、几个问题的讨论 收敛速度问题 局部极小点问题 逃离/避开局部极小点：修改W、V的初值——并不是总有效。 逃离——统计方法；[Wasserman，1986]将Cauchy训练与BP算法结合起来，可以在保证训练速度不被降低的情况下，找到全局极小点。 6、几个问题的讨论 网络瘫痪问题 在训练中，权可能变得很大，这会使神经元的网络输入变得很大，从而又使得其激活函数的导函数在此点上的取值很小。根据相应式子，此时的训练步长会变得非常小，进而将导致训练速度降得非常低，最终导致网络停止收敛 稳定性问题 用修改量的综合实施权的修改 连续变化的环境，它将变成无效的 6、几个问题的讨论 步长问题 BP网络的收敛是基于无穷小的权修改量 步长太小，收敛就非常慢 步长太大，可能会导致网络的瘫痪和不稳定 自适应步长，使得权修改量能随着网络的训练而不断变化。[1988年，Wasserman] 五、径向基函数神经网络（RBF） 1、网络结构 2、主要用途 3、参数估计 1、网络结构 1、网络结构 1、网络结构 2、主要用途 3、参数估计 六、反馈型神经网络（Hopfield） 1、网络特点与分类 2、网络结构 3、主要用途 1、网络特点与分类 1、网络特点与分类 1、网络特点与分类 2、网络结构 2、网络结构 3、主要用途 七、模糊神经网络 1、网络特点 2、网络分类 3、主要用途 1、网络特点 1、网络特点 2、网络分类 3、主要用途 八、ANN信息处理应用 八、ANN信息处理