模式识别考试重点汇总.doc

. ... 第一章 P2 1、两种基本的模式识别法：统计模式识别和结构（句法）模式识别方法。 2、基于统计方法的模式识别系统主要由4部分组成：数据获取、预处理、特征提取和选择、分类决策。如图： 数据获取：通常输入对象的信息由下列3种类型：二维图像、一维波形、物理参量和逻辑值。 预处理：目的是去除噪声，加强有用信息，并对部分退化现象进行复原。 特征提取和选择：这个过程是为了有效地实现分类识别，要对原始数据进行变换，得到最能反应分类本质的特征。 分类决策：在特征空间中用统计方法把被识别对象归为某一类别。 第二章 P9 要用贝叶斯进行分类时的要求：各类别总体的概率分布式已知的；要决策分类的类别数是一定的。 P10 贝叶斯公式： 基于最小错误率的贝叶斯决策规则为：如果，则把x归类于正常状态w1，反之，则把x归类于异常状态w2。 （如果） P11 例2.1 P12 在多类决策中，最小错误率贝叶斯决策规则： 。 P14 期望风险R反映对整个特征空间上所有x的取值采取相应的决策α（x）所带来的平均风险；而条件风险R（αi|x）只是反映了对某一x的取值采取决策αi所带来的风险。 最小风险贝叶斯决策规则为：。 P15 例2.2 P17 在限定一类错误率条件下使另一类错误率为最小的两类别决策。 这种在限定一类错误率ε2为常数而使另一类错误率ε1最小的决策规则也称Neyman-Pearson决策规则。 P22 分类设计器两类情况下的判别函数 定义一个判别函数：，并将决策规则表示为：如果g（x）0，则决策w1，g（x）0，则决策w2。 P31 最小距离分类器：若c类的先验概率都相等，若要对观察x进行分类，只要计算x到各类均值μi的欧式距离平方，然后把x归于具有的分类。 第三章 P46 从样本集推断总体概率分布的方法可归结为以下三类： 监督参数估计——样本所属的类别及类条件总体概率密度函数的形式为已知，而表征概率密度函数的某些参数是未知的。 非监督参数估计——已知总体概率密度函数形式但未知样本所属类别，要求推断出概率密度函数的某些参数。 非参数估计——已知样本所属类别，但未知总体概率密度函数的形式，要求我们直接推断出概率密度函数本身。 第四章 P83 设计线性判别函数的几个准则：Fisher准则，感知准则，最小错分样本数准则，最小平方误差（MSE）准则和最小错误率线性判别函数准则。 P84 对两类问题的线性分类器可以采用以下决策规则： 令，如果， 如果， 如果，可将x任意分到某一类或拒绝。 P87 设计线性分类器的主要步骤： 要有一组具有类别标志的样本集。 要根据实际情况确定一个准则函数J，它必须满足：（1）J是样本集X和w、w0和a的函数；（2）J的值反映分类器的性能，它的极值解则对应于“最好”的决策。 用最优化技术求出准则函数的极值解w*和w0*或a*。 这样就可以得到线性判别函数g（x）=或g(x)= 。 Fisher原理：我们考虑把d维空间的样本投影到一条直线上，形成一维空间，即把维数压缩到一维。然而，即使样本在d维空间里形成若干紧凑的互相分得开的集群，若把它们投影到一条任意的直线上，也可能使几类样本混在一起而变得无法识别。但在一般情况下，总可以找到某个方向，使在这个方向的直线上，样本的投影能分开得最好。 Fisher法所要解决的就是如何根据实际情况找到这条最好、最易于分类的投影线。 P88 第五章 P122 分类器设计的基本问题是，在一定判别函数类内利用训练样本集确定分类器的参数，即确定判别函数中的系数。设计线性分类器，就是确定权向量w和阈值权w0或广义权向量a0而设计分断线性分类器，则是利用样本集确定一组。 三种情况：1.利用多类线性判别函救算法设计分段线性分类器2.已知子类数目时的分段线性判别函数3、未知子类数目时的分段线性判别函数 P124 凹函数 例子： P126 算法步骤 第六章 P140 K-近邻法的基本规则：在N个已知样本中，找出x的近K个近邻。设这N个样本中，来自w1类的样本有N1个，来自w2类的有N2个，…，来自wc类的有Nc个，若K1，K2，…，Kc分别是K个近邻中属于w1，w2，…，wc类的样本数，则可定义判别函数为，决策规则为： 若，则决策。 第八章 P177 特征提取：原始特征的数量可能很大，或者说样本是处于一个高维空间中，通过映射（或变换）的方法用低维空间来表示样本的过程。 特征选择：从一组特征中挑选出一些最有效的特征以达到降低特征空间维数的目的的过程。 P178 各类样本可以分开是因为它们位于特征空间中的不同区域，显然这些区域之间距离越大类别可分性就趁大。对