第66节英神经网络学习.pptVIP

第6.6节 神经网络学习 王庆江 计算机科学与技术系 qjwang@ 摘自《Talking Nets: An Oral History of Neural Networks》封面 6.6.1 神经网络基础 公元前400年左右，柏拉图和亚里士多德就曾对人类认知、记忆、思维进行过研究； 19世纪末，出现了神经元学说；美国生物学家W. James在《Physiology》一书中提到，“人脑中两个基本单元靠得较近时，一个单元的兴奋会传到另一个单元； 20世纪40年代，神经解剖学、神经生理学、神经元的电生理过程等有了突破性进展。 人脑中神经元（神经细胞）的结构 神经元之间的电信号传递 生物神经元的结构 1943年，W.S. McCulloch和W.A. Pitts合作提出了第一个人工神经元模型（M-P模型）； M-P神经元模型 1949年，Donala U. Hebb在“The Organization of Behavior”一书中认为 学习的过程最终发生在神经元之间的突触部位，突触的连接强度随着突触前后神经元的活动而变化； 连接权的学习律正比于突触前后两个神经元的活动状态值的乘积； 可假设权是对称的，细胞的互连结构是通过改变彼此的连接权创造出来的。 Hebb规则 这是神经网络的第1个学习算法； 神经元的输出 连接权值的调整公式 1957年，Frank Rosenblatt在M-P模型基础上，定义了一个具有单层计算单元的神经网络结构，取名为“感知器”。 设计一个神经网络模型， 除了明确网络的结构、神经元的传输函数（f）； 还要给出学习算法。 学习算法用于得出神经网络中的各个参数。 学习算法通常是迭代算法，对应神经网络的演变过程； 算法收敛到一个稳定状态时，神经网络的各参数（连接权值、阈值等）就基本不变了； 这个过程称为神经网络的学习或训练。 人工神经网络的两个操作模式 训练模式（training mode） 准备大量的有教师指导的（或无教师指导的）的训练样本（即实例），对ANN进行训练，确定ANN的内部参数（甚至结构）。 使用模式（using mode） 输入一个实际例子，让ANN分析并给出结果。 “感知器”是怎么训练的呢？ 假设每个样本含 n 个属性，用向量(x1, x2, …, xn)表示；若X 为样本变量， X∈Rn； wij 是 xi 到神经元 j 的连接权值， Wj 是神经元 j 的输入连接的权值向量，即Wj =(w1j , w2j , …, wnj )； 先随机设置{wij}和{θj }，θj 是神经元 j 的阈值； 不同神经元的参数（包括连接权值和阈值）的学习是相互独立的，故只需给出一个神经元的学习算法。 神经元 j 的参数怎么学习呢？ 样本必须是有教师指导的，即预先知道其分类； 输入(x1, x2, …, xn)时，神经元j的输出应为 dj 。 对于离散感知器，yj 按下式计算。 则wij 的调整规则是 wij(t +1) = wij(t) + η(dj - yj) xi “感知器”对线性可分问题具有分类能力 若样本空间为Rn，存在n-1维的超平面可将样本分为两类，则称线性可分。 例：连接强度W的学习过程（η=0.4） “感知器”无法解决线性不可分问题； 1969年，Minsky和Papert指出了“感知器”的这种局限性，例如，“感知器”无法实现“异或”逻辑。 设输入向量X=(x1, x2)，神经元j的输出为： 学习逻辑“与”时，有 至少存在一组w1j 、w2j 和θ满足上述方程组，即单结点感知器对2输入的逻辑“与” 问题有分类能力。 学习逻辑“异或”时，有 不存在任何一组w1j 、w2j 和θ满足上述方程组，即单结点感知器不能对2输入的逻辑“异或” 问题求解。 多层感知器 采用二层或多层感知器； 只允许某一层的连接权值可调，因为无法知道网络隐层的神经元的理想输出； 要允许各层的连接权值可调，需要用1986年提出的误差反向传播（即BP）学习算法。 多层感知器可解决单层感知器无法解决的某些问题，例如，用二层感知器就可解决异或问题。 70年代，集成电路使计算机快速发展； 在“感知器”局限性的困扰下，机器学习的热点由连接主义（即神经网络）转向符号主义； 70年代被认为是ANN的研究低潮期，但仍有ANN的一些重要成果出现。 72年，芬兰T. Kohonen教授提出了无教师学习网络SOM（Self-Organizing feature Map）; 76年，美国Grossberg教授提出了ART（Adaptive Resonnance Theory）。 自组织竞争神经网络模型 生物神经网络中，有侧抑制现象； 一个神经元兴奋，通过突触抑制相邻神经元； 它越兴奋，对周围神经元的抑制作用