代价敏感的k近邻方法研究.pdfVIP

计算机研究与发展 ISSN1000．1239／CN11-1777／TP Journalof Researchand 42(增刊)：23～27，2005 Computer Development 代价敏感的忌近邻方法 刘胥影 周志华 (南京大学计算机软件新技术国家重点实验室南京210093) (1iuxy@lamda．n]u．edu．on) Cost·Sensitivek-Nearest Method Neighbor Liu andZhouZhihua Xuying (StateKey Novel University，Nanjing210093) Laboratoryfor SoftwareTechnology，Nanjing AbstractInmachine anddata shouldbe tominimizethetotalCOSt learning mining，classifiersdesigned insteadoftheerrorratefor realworld wheredifferenterrorshavedifferentcosts．The many problems method different to cost—sensitive忌一nearest proposedinstance-weighting—based neighbor assigns weights instancesofdifferentclassesto cost the ofaninstanceisin tothe gain sensitivity．Hereweight proportion show the can misclassificationcostoftheclassit results that method belongsto．Experimental proposed decreasethetotalcoston significantly binary—classproblems． wordsmachine Key learning；cost—sensitivelearning；是一nearestneighbor；instanceweighting 摘要在机器学习和数据挖掘领域中，分类器通常设计为最小化测试样本的错误率，然而这只有在所 有错误具有相同的错误分类代价时才有意义．在现实问题中，不同情况下的错误往往具有不同的代价， 分类器应该设计为最小化总体错误分类代价．实现了一种基于示例加权的代价敏感k近邻方法，通过 对不同类别的样本赋予不同的权值来获得代价敏感学习能力，其中样本的权值和其所在类别的错误分 类代价成正比．实验结果表明，该方法在两类问题上能显著降低总体代价． 关键词机器学习；代价敏感学习；k近邻；示例加权 中图法分类号TPl81 类算法转化为代价敏感学习算法，通常通过改变样 1 引 言 法[2，81；第3类方法使某种特定的基于最小化错误 在机器学习和数据挖掘领域中，分类器通常设 率的学习算法获得代价敏感性，如基于决策树的方 计为最小化测试集上的错误率．但这只有在假设所 法【9|、基于神经网络的方法【10J等． 有错误的代价都相同时才有意义．在很多现实问题