模式识别课程讲义（李君宝）最后模式识别1.pptVIP

【算法】 步骤3. 计算特征值与特征向量 ① 解特征方程　　　　，求出特征值，并使其按大小顺序排列 ② 分别求出对应于特征值　的特征向量 　 ，要求 　　=1，即　　　　　，其中　表示向量 的第j个分量。 步骤3. 计算特征值与特征向量 步骤4.确定主成分个数 【算法】 （1）根据累积贡献率 当 大于某个阈值时，可认为主成分数目为m。 （2）根据其它准则 * 特征值大于1.0的因子数定为主成分数。 * 利用特征值与因子数目的曲线，到某一因子数后，特征值减小幅度变化不大，此转折点因子数即为主成分数m。 * 保留那些与一个以上变量有重大关系的因子。 步骤5.求主成分得分－新的变量值 【算法】 F阵的每一行相当于原数据矩阵的所有行（即原始变量构成的向量）在主成分坐标轴（载荷轴）上的投影，这些新的投影构成的向量就是主成分得分向量。 例 对全国30个省市自治区经济发展基本情况的八项指标作主成分分析，原始数据如下： 【数学基础】 解： 设有 n 个样品，每个样品观测 p 个指标，将原始数据写成矩 1．将原始数据标准化。 2．建立变量的相关系数阵： 不妨设 3．求尺的特征根 及相应的 单位特征向量： 4．写出主成分： 【数学基础】 第一步：将原始数据标准化。 第二步：建立指标之间的相关系数阵R如下 第三步：求R的特征值和特征向量。 【数学基础】 从上表看，前3个特征值累计贡献率已达89．564％，说明前3个主成分基本包含了全部指标具有的信息，我们取前3个特征值，并计算出相应的特征向量： 【数学基础】 因而前三个主成分为： 第一主成分： 第二主成分： F2=0.107995X1+0.258512X2+0.287536X3 +0.100931X4 - 0.40431X5+0.498801X6 -0.48868X7+0.167392X8 第三主成分： 在第一主成分的表达式中第一、二、三项指标的系数较大，这三个指标起主要作用，我们可以把第一王成分看成是由国内生产总值、固定资产投资和居民消费水平所该划的反映经济发展状况的综合指标； 在第二主成分中，第四、五、六、七项指标的影响大，且第六、七项指标的影响尤其大，可将之看成是反映物价指数、职工工资和货物周转量的综合指标； 在第三主成分中，第八项指数影响最大，远超过其它指标的影响，可单独看成是工业总产值的影响。 【数学基础】 哈尔滨工业大学 主讲人：李君宝 第8章 人工神经网络 前馈网络 Hebb 学习规则 基本思想：两个神经元同时兴奋时它们的连接应加强。 前馈网络典型结构 反馈网络（分清楚种类） 代表：Hopfield 网络 常用于：联想记忆(associative memory) 用于模式识别：可用于模板匹配、可用于特征选择中的优化问题。 自组织网络 自组织神经网络是神经网络最富有魅力的研究领域之一. 它能够通过其输入样本检测其规律性和输入样本相互之间的关系，并且根据这些输入样本的信息自适应调整网络，使网络以后的响应与输入样本相适应。 2.前馈神经网络 * 感知器 Perceptron Rosenblatt 于1950s末提出。 权值： 其中，d(t) 是向量x(t) 的正确输出。 基本神经元： 人工神经网络的神经元通常简化为一个多输入单输出非线性阈值器件： * 步骤1：从各输入端接收输入信号xi 。 步骤2：根据各连接权值wi ,求出所有输入的加权和?： ?＝?ni=1wi xi － ? 步骤3：利用某一特征函数f进行变换，得到输出y： y= f(?)＝f(?ni=1wi xi － ?) 式中， xi(i=1,2,…,n)是输入，wi为该神经元与各输入间的连接权值，?为阈值，y为输出 感知器的算法（公式不计） 3.反馈神经网络 反馈神经网络Back-Propagation Algorithm， LeCun 1986, Rumelhart, Hinton Williams 1986 多层感知器与BP 算法（MLPBack-Propagation Algorithm） 多层感知器结构 特性：可以实现任意复杂的非线性映射关系用于分类： 两层网（一个隐层）可实现空间内任意的凸形成区域的划分。 三层网（两个隐层）可实现任意形状（连续或不连续）区域划分。 结点采用Sigmoid 函数 BP 算法（记住流程）： 说明：算法可能收敛于局部极小点（梯度算法）；与初值、步长等的选择有关；更与网络结构（结点数目）有关。 BP 算法： 用于分类： 输入x——样本特征向量（必要时归一化） 输出Y ——类别编码 其