第五章机器学习资料.ppt

* * * * * * * * * * * * * * * * * * * * * * * * * 所以， 故，当ANj为输出层的神经元时，它对应的联接权wij应该按照下列公式进行调整： ANj为输出层神经元 ANj为隐藏层神经元 ANj为隐藏层神经元 Netk= ANj为隐藏层神经元 ANj为隐藏层神经元 ANj为隐藏层神经元 前馈型神经网 多层感知器 n层网络可以以n-1个超曲面构成一个符合曲面，弥补了单层感知器的缺陷。基于BP算法，依据大量样本通过逐步调整神经元之间的联接权重来构造网络。理论上，多层前馈网络在不考虑结果规模的前提下，可以模拟任意的输出函数。 前馈型神经网 特点： 用非线性连续可微的函数来分类，结果是一种模糊概念。当输出f(u)0时，其输出不一定为１，而是一个0.5(有时只是0)的值，表示所得到的概率为多少。 应用： 各行各业。是应用最广泛的神经网络模型之一。 自组织竞争人工神经网络 概述 在实际的神经网络中，存在一种侧抑制的现象。即一个细胞兴奋后，通过它的分支会对周围其他神经细胞产生抑制。这种侧抑制在脊髓和海马中存在，在人眼的视网膜中也存在。 自组织竞争人工神经网络 概述 这种抑制使神经细胞之间出现竞争，一个兴奋最强的神经细胞对周围神经细胞的抑制也强。虽然一开始各个神经细胞都处于兴奋状态，但最后是那个输出最大的神经细胞“赢”，而其周围的神经细胞“输”了。 胜者为王。小猫 自组织竞争人工神经网络 概述 自组织竞争神经网络是在 “无师自通”的现象的基础上生成的。 人类等生物的生长过程。 自组织竞争人工神经网络 结构： 层内细胞之间互联，在各个神经细胞中加入自反馈，相互作用，输出y为 ： 系统稳定时“胜者为王”。此时赢者的权向量与输入向量的欧氏距离最小。此距离为 ： 自组织竞争人工神经网络 自组织映射模型 自组织映射模型是由Kohonen提出来的。模型是以实际神经细胞中的一种特征敏感的细胞为模型的。各个细胞分别对各种输入敏感，可以代表各种输入，反映各种输入样本的特征。如果在二维空间上描述这些细胞，则，功能相近的细胞聚在一起，靠得比较近。功能不同的离得比较远。 网络形成过程： 开始是无序的，当输入样本出现后各个细胞反映不同，强者依照“胜者为王”的原则，加强自己的同时对周围细胞进行压抑。使其对该种样本更加敏感，也同时对其他种类的样本更加不敏感。此过程的反复过程中，各种不同输入样本将会分别映射到不同的细胞上。 Kohonen网络的结构 x2 x1 输入层 输出层 Nc(t)的形状和变化情况 Nc(t0) Nc(t1) Nc(t2) Nc(t0) Nc(t1) Nc(t2) 自组织竞争人工神经网络 特点： 网络中的权值是输入样本的记忆。如果输出神经元j与输入n个神经元之间的联接用wj表示，对应其一类样本x输入，使yj达到匹配最大。那么wj通过学习后十分靠近x，因此，以后当x再次输入时，yj这个神经元必定会兴奋，yj是x的代表。 .......…. 自组织竞争人工神经网络 ........…. 网络学习时对权的调整不只是对兴奋的那个细胞所对应的权进行，而对其周围Nc区域内的神经元同时进行调整。因此，对于在Nc内的神经元可以代表不只是一个样本x，而是与x比较相近的样本都可以在Nc内得到反映。因此，这种网络对于样本的畸变和噪声的容差大。（调整区域函数有。。。） 各种函数 网络学习的结果是：比较相近的输入样本在输出平面上映射的位置也比较接近。具有自然聚类的效果。 神经网络的应用 该门科学起源于心理学、生理学、生物学、医学等科学，研究发展过程中又涉及到数学、物理学、计算机科学等领域。然而，它的应用几乎遍及自然科学的各个领域。其中最多的是模式识别、通讯、控制、信号处理等方面。 神经网络的应用 根据应用背景选择网络结构 排除各种干扰（预处理） 根据网络结构特点准备输入样本 选择训练样本 训练网络 前馈网络字符识别器的网络结构模型 多分类器合成系统结构图 Input Output C4 C3 C2 C1 单神经网络反馈系统模型图 多神经网络反馈系统模型图 用于大字符集识别的神经网络结构图 Integration MLP network Generalized MLP network classifier Output 1 Output 2 Output N Input feature Vector X1 Input feature Vector X2 Input feature Vector XL Teachers Supervised learning 1 Supervised learning 2 与人工智能原理的结合 针对神经网络目前存在的问题：网络结构大不宜实现；学习