最近邻决策和VM数字识别的实现和比较.docxVIP

最近邻决策和SVM数字识别的实现和比较 这次试验希望通过对数字识别的实现了解最近邻决策及SVM的基本思想，并对于模式识别在实际中的应用能够有所认识。这里主要讨论了最近邻决策及SVM的判别函数和决策规则以及他们的局限性。 最近邻决策规则： 最近邻决策没有如同线性分类器那样假设样本是线性可分的，它没有假设函数的形式，也就是说不是对参数的估计。只是假设y=f(x 对于一个C类别的问题ω1,ω2,…,ωc，每类由表明类别样本Ni个 i=1,2,…,c。对未知的样本X, g 其中Xik角标i为ωi类，k为ωi类 决策规则 : g 最近邻决策的效果依赖于训练集样本的选择，为了解决过拟合的问题引入了k-近邻法，取未知样本X的k个近邻，看着k个近邻中多数属于哪一类，就把X归为那一类。 设：K1,K2,…,Kc 判别函数： g 决策函数： g 近邻法很简单使用很方便但是所有的训练集都需要与未知样本计算一次距离，并且比较求取最小值，对于样本很多样本特征很多的情况下计算量会很大而且十分占内存是不能忍受的。然而近邻法的收敛性【边肇祺】体现在N→∞时渐进平均错误率P满足 P P*为贝叶斯错误率，C为类数。由此，理想情况下是训 支持向量机（SVM）： 对于一个线性可分的两类问题，我们可以通过确定一个分类面把这两类分开。我们的目的是为了建立一个这样的分类面，事实上这样的分类面不是唯一确定的。在感知器里我们通过梯度下降法优化出一个分类器初始值的选择、迭代步长等的不同得到的分类器也不同。那么我们需要在这些分离器里找一个最好的。 如图3.10 摘自【Sergios Theodoridis】 P121所示，我们可以认为direction2的分类效果要比 direction1的分类效果要好，因为direction2的裕量比direction1大。我们需要在这各个分类器中选择一个最优的。SVM是根据统计学习理论依照结构风险最小化的原则提出的，要求实现两个目的：1）两类问题能够分开（经验风险最小） 摘自【Sergios Theodoridis】 P121 把样本到分类面的距离 进行归一化处理后我们得到里分类面最近的样本g(x) = 1。 这样我们就有边界margin：这里满足这样条件的样本点就是我们所谓的支持向量。 这样我们就转化为一个优化问题【边肇祺】【Sergios Theodoridis】： 建立拉格朗日方程并引入KKT条件得到： 由上式得到判别函数式： f 对于不是线性可分的问题，我们可以通过加入松弛子C来解决： max s.t. 由以上讨论我们得到判别函数只与向量的內积有关，因此我们可以选择一个非线性变换?(x)将x映射到高维空间，在低维空间不可分的问题映射到高维空间后就有可能是线性可分的。这里我们不需要知道?(x max 这里的核函数的选择没有特别的方式，在【Chih-Wei Hsu】中推荐使用径向基函数。 印刷数字的识别： 实验中我们通过最近邻法和SVM实现了对于印刷数字的识别，SVM的实现是利用林智仁老师的libsvm工具，最近邻法是自己的代码实现的。代码后附。 实验数据整理如下：（原始数据见后附表） 训练集个数：53个 测试集个数：108个 判别方法 实验参数 错分样本形式 错分样本数 正确率 SVM 径向基函数 C=100 g=0.001 5-8(1) 6-5(2) 6-3(1) 4 96.30% 多项式 C=100 g=0.01 d=1 5-8(1) 6-5(2) 6-3(1) 4 96.30% 最近邻法 5-6(1) 6-5(5) 6-8(1) 7 93.52% 这两种方法还是可以比较不错的实现印刷数字的识别的正确率最好能达到96.30% 另外根据后附表中我们可以看到SVM的训练结果与核函数的选择有很密切的关系，合适的核函数【Chih-Wei Hsu】可以得到较好的结果。 实验总结： 最近邻法算法简单很容易实现，但是它的效果与训练集的选择有很大的关系，收敛性是在满足样本足够多的条件下的，这在实际中是很难得到的。另外计算量很大在样本及样本特征很多的情况下占内存会很大速度会很慢。 SVM根据结构风险最小化提出了使margin最大化的优化的方法，并且可以通过松弛子，及适当的核函数把在低维空间中线性不可分的问题投影到高维空间使得在一定的松弛条件下线性可分。但是核函数的选择是一个问题，试验中我们试凑出来的一个核函数。林智仁老师提供了一个工具可以通过交叉验证的方式得到一个较好的核函数。 参考资料： 边肇祺,张学工,模式识别,清华大学出版社,第二版 Sergios Theodoridis,Pattern Recognition,4th,ISBN 978-1-59749-272-0 Chih-Wei Hsu, Chih-Chung Chang, Chih-