k近邻和logistic回归分类算法比较研究 study of classification algorithms of k-nearest neighbor and logistic regression.pdfVIP

第２６卷　第３期 洛阳理工学院学报（自然科学版） Ｖｏｌ２６　Ｎｏ３ 　２０１６ 年９ 月 Ｊｏｕｒｎａｌ ｏｆＬｕｏｙａｎｇ Ｉｎｓｔｉｔｕｔｅ ｏｆＳｃｉｅｎｃｅ ａｎｄ Ｔｅｃｈｎｏｌｏｇｙ（Ｎａｔｕｒａｌ Ｓｃｉｅｎｃｅ Ｅｄｉｔｉｏｎ） Ｓｅｐｔ２０１６　 Ｋ近邻和Ｌｏｇｉｓｔｉｃ 回归分类算法比较研究 万会芳，杜彦璞 （成都理工大学 管理科学学院，四川 成都６１００００） 摘　要：分类是机器学习领域最重要的一类问题，其中Ｋ近邻法和Ｌｏｇｉｓｔｉｃ 回归是两个重要的机器学习算法。本 文主要研究了Ｋ近邻算法和Ｌｏｇｉｓｔｉｃ 回归模型在数据分类问题中的具体应用。针对Ｋ近邻算法，在考虑数据特征 基础上，分别用欧氏距离和曼哈顿距离作为距离度量，同时，对于Ｌｏｇｉｓｔｉｃ 回归分类问题，提出了一种改进的随 机梯度上升算法。通过选取了ＵＣＩ机器学习数据集中的Ｈｏｒｓｅ Ｃｏｌｉｃ、Ｗｉｎｅ Ｑｕａｌｉｔｙ 两个数据集对算法进行验证， 应用结果表明：Ｋ近邻算法中使用欧氏距离更适合Ｗｉｎｅ Ｑｕａｌｉｔｙ，并且改进的随机梯度上升算法显著提高了Ｌｏ ｇｉｓｔｉｃ 学习机器的训练时间，说明了Ｋ近邻法和改进Ｌｏｇｉｓｔｉｃ 回归分类算法具有良好的分类效果。 关键词：Ｋ近邻；Ｌｏｇｉｓｔｉｃ 回归；机器学习 ＤＯＩ：１０．３９６９／ｉ．ｉｓｓｎ．１６７４－５４０３．２０１６．０３．０２０ 中图分类号：ＴＰ３１１　　　　文献标识码：Ａ　　　　文章编号：１６７４－５４０３（２０１６）０３ －００８３ －０４ 　　机器学习算法是数据挖掘领域的重要组成部分。近年来机器学习、统计学习、模式识别、数据挖掘 ［１］ ［２］ ［３］ ［４］ 等在各个领域得到了广泛的应用，并取得了很大的突破 。自然语言处理 、信息检索 、推荐系统 、 ［５］ 文本挖掘 等都要用到机器学习算法，而分类问题又是机器学习的重要主题，所以研究机器学习算法在 实际分类问题中的算法性能是非常有必要的。 本文主要研究了机器学习算法中的Ｋ近邻算法和Ｌｏｇｉｓｔｉｃ 回归模型在分类问题中的应用，并研究了二 ［６］ 者应用于分类问题的差异。文献 利用ＫＮＮ算法构建了北京地区雾霾等级分类器，该模型预报霾等级的 ［７］ 准确率高达９１８％。文献 基于ＫＮＮ和ＳＶＭ模型建立了中文文本分类模型，通过分析和比较实验结果， ［８］ 探讨文本分类中具体参数的设置和不同分类算法之优劣。文献 基于Ｌｏｇｉｓｔｉｃ 回归和决策树在心理学数据 ［９］ 分类问题中对其ＲＯＣ 曲线进行了比较，结果表明两种方法各有利弊。文献 基于 Ｌｏｇｉｓｔｉｃ 回归模型对 Ｂｌａｚａｒ天体分类进行了研究，分类的准确率达到９１２％。本文基于Ｋ近邻通过不同距离分别进行实验来 验证算法在应用具体数据上的表现。Ｌｏｇｉｓｔｉｃ 回归模型通常可以用作预测和分类两类问题，本文只研究在 分类问题中的Ｌｏｇｉｓｔｉｃ模型。在分类问题中，通常对于模型参数的求解有梯度下降法和拟牛顿法。梯度下 降方法是对于求某个函数的最小值，可以沿着函数梯度降低的方向迭代，因为梯度方向是函数值减少最 快的方向。而梯度上升算法刚好相反，每次在更新时对迭代公式中步长减号变加号即可。梯度上升算法 的回归系数在每次迭代的过程中需要在整个数据集上计算一遍，也就是说当样本输入空间有较大的特征 和样本时，该方法的计算复杂度就会大幅度增加，故本文提出一种Ｌｏｇｉｓｔｉｃ 回归模型求解参数中的随机梯 度上升算法的改进，使之适合求解当样本输入空间较大的情况。 １　Ｋ近邻分类算法原理 ［１０］