机器学习课件P2 神经网络原理EW_White.pptVIP

Hopfield网络示例2 6 自组织映射 6.1 自组织学习 自组织学习 (self-organized learning) 无监督学习 (unsupervised learning) 自组织学习的目的是为了发现输入数据中重要模式和特征。这些发现是无教师的。 系统需要提供一组局部性的规则，这些规则能使它学会计算具有特殊期望性质的输入-输出映射。 “局部”意味突触权值的改变只与邻近单元的状态有关。 自组织学习 用于自组织学习的神经网络结构模型比用于监督学习的模型更接近生物神经系统模型。 网络组织的过程是脑组织过程的基础。 自组织结构 单层结构 可能由一个输入(源)层和输出(表示)层组成 输入层到输出层之间有前馈连接 输出层各单元间有侧向连接 多层前馈网络 由多层组成 其中自组织是以层到层为基础进行的 学习过程是按照预定的规则和对输入(激活)模式的响应重复修改系统中的所有突触权值，直到形成一种最终设置。 6.1.1 自组织的原则 局部的相互作用可以导致整体的序（Turing,1952） 自组织的层次 活动性：由给定网络对输入信号的响应产生某种活动模式 连接性：由于突触可塑性，网络连接强度(突触权值)由于响应活动模式中的神经信号得以修改 自组织而非稳定 自组织原则 原则1：突触权值的修改趋向于自增强。 为了达到网络的自组织(而非稳定)，在突触权值变化和活功模式变化之间的反馈必须是正的。 自组织原则 原则2 资源的有限导致突触间竞争，从而导致牺牲其他突触来选择最活跃(即最适合)的生长突触。 为了使系统稳定，必须存在对“有限”资源(如输入的数量和能量)的一些竞争形式。网络中的一些突触强度增加必须以其他突触的减弱来补偿。因此，只有“成功”的突触才能生长，而不成功的将减弱并最终消失。 自组织原则 原则3 突触权值的修改趋向于协作。 单个突触不能有效地产生满意的结果。 需要一组突触间的协作，这些突触聚集于一个特定的神经元且带有足够强大的相同信号以激活该神经元。 自组织原则 原则4 激活模式中次序和结构表示冗余信息，神经网络以知识的形式得到这些冗余信息，这是自组织学刁的必要前提。 为了自组织学习执行有用的信息处理功能，环境提供给网络的激活模式中必须存在冗余。 6.1.2 自组织的特征 1. 在整个神经元形成过程中，一旦突触连接被选择，其位置就固定了。 2. 每个神经元都足一个线件组合器。 与视觉系统相似的模型结构 接受域 二维层 每个神经元只接受前一层位于一个覆盖区域内的有限数目神经元的信息！ 6.2 自组织映射 基于竞争学习 网络的输出神经元之间互相竞争以求被激活，其结果在每一时刻只有一个输出神经元，即每组只有一个输出神经元被激活。 在输出神经元中导出胜者全得的竞争方法是在它们之间使用侧抑制连接。 自组织映射 神经元被放置在网格节点上，网格通常是一维或是两维的。 在竞争学习过程中，神经元变化依不同输人模式或者输入模式的类别而选择性地调整。 调整后神经元(即获胜神经元)的位置彼此之间成为有序的。使得对于不同的输入特征，在网格上建立起有意义的坐标系。 自组织映射 网格神经元的空间位置表示输入模式包含的内在统计特征。 神经元将输入信号转变为空间位置编码的概率分布，分布通过映射中最大相关激活的位置表示参数的计算值。 6.2.1 自组织映射模型 人脑感知的特点 将不同的感觉输入(运动、身体的触觉、视觉、听觉等)以一种有序的方式映射到相应的大脑皮质区域。 拓扑映射构成原则 在拓扑映射中输出神经元的空间位置对应于特殊的定义域或从输入空间抽取数据的特征。 Willshaw and von der Malsburg模型 5.2 Hopfield网络 5.2.1 连续Hopfield网络 神经元的加性模型 神经元的加性模型 连续Hopfield网络 Hopfield模型 突触权值矩阵对称 每个神经元有自己的非线性激活函数 非线性激活函数可逆 激活函数 双曲正切函数 神经元的增益 双曲正切函数 激活函数的逆 激活函数的逆 5.2.2 连续Hopfield网络的稳定性 连续Hopfield网络的能量函数（1984） 连续Hopfield网络的稳定性 连续Hopfield网络的稳定性 能量函数是连续Hopfield模型的Lyapunov函数 根据Lyapunov定理1，模型是稳定的 连续Hopfield模型的时间演化代表状态空间的一条轨迹线，该轨迹线找出能量函数的极小值并在这样的的固定点终止。 连续Hopfield网络的稳定性 当且仅当下面条件成立时，能量函数的时间导数为零 除在一个固定点之外 连续Hopfield网络的稳定性 连续Hopfield网络的能量函数是时间的单调减函数 连续Hopfield网络是全局渐近