kNN中局部生成模型测度学习.pdfVIP

ComputerEngineering0 fjc口f0 计算机工程与应用 kNN中局部生成模型测度学习 赵传钢 ZHAO Chuangang 北京林业大学 信息学院，北京 100083 DepartmentofInformationScienceandTechnology，BeijingForestryUniversity，Beijing100083，China ZHAO Chuangang．Generative local metric learning in k nearest neighbors．Computer Engineering and Applications， 2011．47(28)：173-175． Abstract：PreviousworkonmetriclearningforkNearestNeighbor(kNN)hasfocusedonpurelydiscriminativeapproach．A approach isproposedto learn ametricby analyzingtheprobabiliyt distribution onnearestneighborsprovidedthattheunder— lying generativemodelisknown．Experimentsshow thatthislearned localmetric can improve theperformance ofthe discrim- inativekNN approach using simpleclassconditionalgenerativemode1． Keywords：knearestneighbor；metriclearning；generativemodel；discriminativemodel 摘 要：已有的关于尼近邻测度学习算法的3-作主要集中于纯区分模型。在假定隐含的生成模型已知的情况下，提 出了一种通过 分析样本的七个近邻点的概率密度学习测度 的方法。实验表明，这种基于类的生成模型假设学习到的局部测度可以有效改善 kNN区分模型的性能。 关键诃：七近邻；测度学习；生成模型；区分模型 DOI：10．3778／j．issn．1002—8331．2011．28．047 文章编号：1002—8331(2011)28—0173—03 文献标识码：A 中图分类号：TP39 l 引言 R= (七)：∑∑J户，)户，(…户 )fx()dx (1) 近邻分类算法是最古老也是最简单的分类方法之一 。 l：1，EL- C 近邻分类器的分类规则是在训练数据中，寻找测试样本的k 这里，p，∽=(Pt∽ ()，／()=∑P()，=(，．，，，…，，)，L，： 个最近邻，将这 个最近邻中出现次数最多的类作为测试样本 c=I 的类。尽管判决的思路很简单 ，但k近邻分类器的分类准确性 {(，，，，…，)}。L，中每个元素支持将0试点的类判定为类，。 却很高。从 近邻分类的判决方法可以知道 ，k近邻分类器的 假设三是满秩矩阵，考虑线性变换z=Z ，那么Z的分布 性能与样本点之间距离的计算方法有很大关系。研究人员发 qc(z)满足P∽(bf= (z)dz，且 dz=lLI,i~。从方程 (1)可以很 现—个适当的距离测度可以极大地提高k近邻分类器的性能 。1‘。 容易看出，在 z空间中，分类错误R 将保持不变。当只有有 这些距离测度学习算法都是基于纯粹的区分模型，其学习到 限样本时，近邻分类器的分类错误将偏离其渐进性能，从而 的是一个全局距离测度 ，用于最小化所有相似样本之间的距 与渐进性能之间有一个偏差。显然 ，这个偏差与采用的线性 离 ，同时最大化所有不相似样本之问的距离。近来 ，Yung等人