10 模式识别课件-第10篇 神经网络模式识别法.pptVIP

10.5 神经网络模式识别 神经网络模式识别的基本思想 神经网络用于模式识别时，输入神经元用来模式或表征模式的特征向量，输出神经元的输出对应分类结果。 通常神经网络模式识别分为训练和识别两个阶段。 （1）训练阶段根据训练样本集，按照一定 的学习规则调整权系数，使权系数收敛到最优值，得到神经网络分类器。 （2）识别阶段利用训练阶段得到的神经网络分类器，对输入模式进行识别，生成分类结果。 下面以前馈神经网络为例，介绍神经网络模式识别方法 在各种人工神经网络模型中，前馈神经网络在模式识别领域应用较多，特别是BP网络和RBF网络。前馈神经网络用于模式识别时网络输入是表征模式的特征向量，每一个输入节点对应样本的一个特征，网络的输出值对应分类结果。 根据输出节点的数量分为多输出型和单输出型 多输出型 多输出型网络的输出层节点表示类别，可以有两种方式：第一种方式是每一类对应一个输出节点；第二种方式为用输出节点的某中编码方式来代表类别。 单输出型 单输出型方式，即网络的输出层只有一个神经元。一个单输出型网络只能判断输入样本是否属于某个类别，对每个类别都要构建一个网络，且要对每个网络分别进行训练。 输入层：每个神经元与输出层所有神经元连接。 输入连续值模式向量。 SOM网络结构： 输出层：广泛连接，格阵形式。 竞争学习算法：由交互作用函数取代简单的侧抑制。 自组织特征映射算法步骤： 第一步：设置初始权值，定义输出层神经元的邻域。 第二步：输入新的模式向量 。 第三步：计算输入模式到每个输出层神经元j的距离dj。 wij(t)：t时刻输入层神经元i到输出层神经元j之间的连接权。 第四步：选择与输入模式距离最小的输出层神经元 j*。 第五步：修改与j*及其邻域中神经元连接的权值。 设t时刻神经元j*的邻域用 表示，权值修改为： ：修正参数， ，随t的增加而减小。 第六步：转到第二步。 聚类中心：存储在与神经元j*连接的权值上。 输出层神经元邻域的选择： 初始邻域选择大些，随算法的进行逐步收缩。 10.4 反馈网络模型Hopfield网络 寻找记忆： 模拟人脑联想记忆功能的神经网络模型。 网络由初始状态向稳定状态演化的过程。 初始输出模式向量 单层全互连、权值对称的神经网络。 结构： Hopfield网络 （HNN） 离散型HNN(DHNN)： M-P模型二值神经元 连续型HNN(CHNN)： 神经元为连续时间输出。 * 每个神经元的输出通过加权与其余神经元的输入端连接； * 输入模式向量的各分量及神经元的输出值取(+1)或(-1)； * 神经元的个数与输入模式向量的维数相同； * 记忆样本记忆在神经元之间的连接权上。 DHNN： * 每个模式类有一个记忆样本，是网络的一个稳定输出状态。 设 是第s类的记忆样本。为了存储 M个记忆样本，神经元i和神经元j之间的权值wij为 设有M 类模式，则有M个记忆样本，分别是网络的M个稳定输出状态。 若神经元i的输入为ui，输出为 ，则 式中， 若输入一个未知类别的模式X，网络初始状态由X决定，根 据上述算法，网络从初始状态开始逐步演化，最终趋向于一个稳定状态，即输出一个与未知类别模式相似的记忆样本。 说明： 定义网络的能量函数 由某一神经元的状态的变化量 引起的E变化量为 式中， ， 。 ?E0，E有界，网络最终可达到一个不随时间变化的稳定状态。 算法步骤： 第一步：给神经元的连接权赋值，即存贮记忆样本。 第二步：用输入的未知类别的模式 设置网 络的初始状态。 若 表示神经元i在t时刻的输出状态，则初始值： 第三步：迭代计算 至算法收敛。 第四步：转到第二步，输入新模式。 神经元输出与未知模式匹配最好的记忆样本。 Hopfield神经网络的局限性： * 网络能记忆和正确回忆的样本数相当有限； * 如果记忆中的某一样本的某些分量与别的记忆样本的 对应分量相同，这个记忆样本可能是一个不稳定的平 衡点。 已证明：当记忆不同模式类的样本数小于网络中神经元个数（或模式向量的维数）的0.15倍时，收敛 于伪样本的情