模式识别理论终版.ppt

;.; * ;.; * ;.; * ;.; * Fisher线性判别 ;.; * 二维模式向一维空间投影示意图 o x y ;.; * 二维模式向一维空间投影示意图 o x y ;.; * 二维模式向一维空间投影示意图 o x y o x y ;.; * （1)求解Fisher准则函数 ;.; * ;.; * 类间离差度为： ;.; * 并使其最大,上式称为Fisher准则函数。 ;.; * 利用二次型关于矢量求导的公式可得： （2) 求解Fisher最佳鉴别矢量 令 可得： ;.; * ;.; * 上式右边后两项因子的乘积为一标量，令其为 ，于是可得 式中 为一标量因子，其不改变轴的方向，可以取为1,于是有 ;.; * 此时的 可使Fisher准则函数取最大值，即是n 维空间到一维空间投影轴的最佳方向，由 和 JF 最大值为: ’ ;.; * 即 称 为Fisher变换函数 JF= ;.; * 由于变换后的模式是一维的，因此判别界面实际上是各类模式所在轴上的一个点，所以可以根据训练模式确定一个阈值 yt，于是Fisher判别规则为: （3) 求解Fisher判别函数 判别阈值可取两个类心在u方向上轴的投影连线的中点作为阈值，即: ;.; * 12 100 12 100 12 100 模式识别理论 Pattern Recognition ;.; * 什么是模式识别 模式识别（Pattern Recognition）是一种从大量信息和数据出发，在专家经验和已有认识的基础上，利用计算机和数学推理的方法对形状、模式、曲线、数字、字符格式和图形自动完成识别的、评价的过程。 从数学角度而言，模式识别也是一个数学建模过程。只是给出的是定性结论而不是定量指标。 ;.; * 什么是模式识别 模式识别包括两个阶段，即学习阶段和实现阶段，前者是对样本进行特征选择，寻找分类的规律，后者是根据分类规律对未知样本集进行分类和识别。 广义的模式识别属计算机科学中智能模拟的研究范畴，内容非常广泛，包括声音和语言识别、文字识别、指纹识别、声纳信号和地震信号分析、照片图片分析、化学模式识别等等。计算机模式识别实现了部分脑力劳动自动化。 ;.; * 模式识别的特点 模式识别的理论基础是多元统计理论和一些近代数学方法（如神经元网络理论）。 模式识别给出的是统计和经验的规律，无法提供关于样本理论模型。 ;.; * 用计算机模式识别方法总结规律预报未知，虽然不如纯粹的理论方法严格和有明确的机理及解释，但却有广泛的适应面，能够在现有知识、理论不够完善的情况下发挥作用。在用计算机模式识别方法解决问题时，我们仍需要借助于与研究对象相关的理论知识，去估计、判断影响研究对象的大致因素，用这些因素的参数构筑多维空间（即模式空间）描述研究对象的特征，才能用模式识别的方法总结规律。 ;.; * 模式识别计算过程示意图 ;.; * 有监督模式识别（判别分析） 如果样本的类别数是已知的，先用一组已知类别的样本作为训练集，建立判别模型，再用建立的模型根据相似性原则来对未知样本进行识别，称为判别分析。 判别分析是在事先知道类别特征的情况下建立判别模型对样本进行识别归属，是一种有监督模式识别。 ;.; * 无监督模式识别（聚类分析） 如果预先不知道样本的类别，要在学习过程中根据样本的相似性对被识别的样品进行识别分类和归类，称为聚类分析。 聚类分析是完全依靠样本自然特性进行识别的方法，是一种无监督模式识别。 ;.; * 模式空间 样本xi可用一组参量(矢量)来表征，即 xi=(xi1, xi2, ..., xin)，在模式识别中，这种参量值又称特征。通常这些参量实际上就是原始数据。这样一组参量构成了模式识别空间的一个点，或称一个n维的模式。由这些模式所构成的n维变量空间，称为模式空间。因高维模式空间提供了更多的信息，故有可能解决一些低维空间中难于解决的问题。 ;.; * 模式识别常用术语 特征抽提（Feature Extraction） 训练集（Training Set） 识别率（Recognition Rate） 预测能力（Predictive Ability） ;.; * 注意事项 训练集的数据一定要可靠。 训练集的样本数目要足够多，样本数m与模 式空间维数n 的比值至少应满足m/n≥3，最好m/n≥10。 模式空间特征的选择是成败的关键，要选取与样本分类有关的特征，如果不能包括与分类有关的