最近邻决策和SVM数字识别的实现和比较.docxVIP

最近邻决策和SVM数字识别的实现和比较 这次试验希望通过对数字识别的实现了解最近邻决策及SVM的基本思想，并对丁?模式 识别在实际中的应用能够有所认识。这里主要讨论了最近邻决策及SVM的判别函数和决策 规则以及他们的局限性。 I近邻决策规则 I近邻决策规则: 最近邻决策没有如同线性分类器那样假设样本是线性可分的，它没有假设函数的形式, 也就是说不是对参数的估计。只是假设y = f(xi，x2，…,xp)是连续的，每一类内样本应该距离 很近。 对于一个C类别的问题％5，…,3—每类由表明类别样本叫个i=l,2…?,Co对未知 的样木X,比较X与N =》(叫个已知类別的样木之间的欧氏距离，决策X为与离他最近的样 本同类。BP：判别函数 gi(X) = min||X — Xf||, k=l,2，…，N： 其中X$角标i为J类，k为J类叫中第K个。 决策规则： gj(X) = min gi(X), i = l,2, ???，C； X G a)j 最近邻决策的效果依赖于训练集样本的选择，为了解决过拟合的问题引入了 k-近邻法，取未 知样木X的k个近邻，看着k个近邻中多数属于哪一类，就把X归为那--类。 设：Ki，K2，...,Kc分别是未知变量X的k个近邻中属于3i，0)2i，3c的样木数 判别函数： gi(X) = Ki 决策函数： gj (X) = max Kj ; X 6 u)j 近