基于混合模重构的kNN回归.doc

本文受国家自然基金61263035，国家863项目(2012AA011005)、国家973项目(2013CB329404)、广西自然科学基金(2012GXNSFGA06004)、广西八桂创新团队和广西百人计划资助。龚永红(1970-)，女，本科，主要研究方向为图书情报学、数据挖掘；宗鸣(1990-)，男，硕士研究生，通讯作者，主要研究方向为机器学习、数据挖掘。E-mail： HYPERLINK mailto:920902817@ 920902817@；朱永华(1994-)，本科生，主要研究方向为数据挖掘；程德波(1990-)，男，硕士研究生，主要研究方向为数据挖掘、机器学习。 基于混合模重构的kNN回归 龚永红1 宗鸣2 朱永华3 程德波2 (桂林航天工业学院信息工程系 桂林 541004)1 (广西师范大学计算机科学与信息工程学院 桂林 541004)2 (广西大学计算机与电子信息学院 桂林 530004)3 摘 要 对于线性回归中kNN算法的k值固定问题和训练样本中的噪声问题，本文提出一种新的基于重构的稀疏编码方法。该方法用训练样本重构每一测试样本，重构过程中，范数被用来确保每个测试样本被不同数目的训练样本来预测，以此解决kNN算法固定k值问题；范数导致的整行稀疏被用来去掉噪声样本，以避免数据集上的噪声对重构的不利影响。实验在UCI数据集上显示：新的改进算法比原来的kNN算法在线性回归中具有更好的预测结果。 关键词 线性回归，稀疏编码，重构，噪声样本 中图法分类号 TP181 文献标志码 A kNN regression based on mixed-norm reconstruction GONG Yong-hong1 ZONG Ming2 ZHU Yong-hua3 CHENG De-bo2 (Department of Information Engineering,Guilin University of Aerospace Technology,Guilin,541004,China)1 (College of Computer Science Information Technology,Guangxi Normal University,Guilin,541004,China)2 (School of Computer,Electronics and Information,Guangxi University,Guilin,530004,China)3 Abstract This paper proposes a sparse-based k Nearest Neighbors (kNN) regression method for solving the issues of fixed value of k in kNN regression and removing noisy training samples. More specifically, the proposed method reconstructs each test sample by the training data. During the reconstruction process,norm is used to search for different k values for different test samples, and norm is used to find noisy training samples. Our experimental results on UCI datasets shows that the proposed method outperforms the previous kNN regression method in terms of regression performance. Keywords linear regression, sparse coding, reconstruction, noise sample 1 引言 kNN (k-Nearest Neighbor)算法是一种应用广泛的分类方法，它是最近邻算法(NN算法)的推广形式。NN算法最早是由Cover和Hart在1967年提出，最早用于分类的研究。当然，kNN算法也可用于回归：对于一个测试样本，在所有训练样本中选取最接近它的k个样本的均值来进行预测。然而，本文发现传统的kNN算法对每一个测试样本，都用同样k个数目的训练样本来进行预测，这在应用中不合实际。 图1表示一个数据集，三角形代表测试样