基于GEP的kNN算法改进研究-计算机科学与技术专业论文.docxVIP

摘 要 预测建模是数据挖掘中的一项重要任务。现在很多企业使用预测技术来改善 商业决策、提高生产率、检测疾病、预测天气等等。 k NN 算法是预测建模最简 单最有效的算法。 k NN 算法是基于实例的学习，使用算法时我们必须有接近测 试样本数据的训练样本数据。由于 k NN 算法具有准确率高、对离群点不敏感、 对数据无假定输入要求等优点，在分类、回归、聚类等领域中得到了广泛的研究 与应用，现已成为数据挖掘十大算法之一。然而， k NN 算法在一些应用中也存 在缺点。例如，多数类偏向、最优 k 值难以确定、维数灾难等。为此，专家学者 们提出了一些新算法和改进算法来解决 k NN 算法存在的问题。 针对以上问题，本文基于 QENN 算法提出了 RBQENN 算法，解决了 k NN 算法 对不平衡数据分类时的多数类偏向问题。针对 RBQENN 算法的最优参数难以确定 问题，本文提出了基于 GEP 的参数优化方法来解决。此外，本文还引入 GEP 作为 特征选择方法解决 RBQENN 算法的维数灾难问题。本文将每个算法都跟其它算法 进行了对比实验来证明提出算法的有效性。 本文主要工作包括： （1）针对 k NN 算法在对不平衡数据分类时的多数类偏向问题，引入 QENN 算法，提出 RBQENN 算法，该算法只选取超球半径内的训练样本作为最近邻，并 通过实验证明 RBQENN 算法在分类性能和回归性能上优于 k NN 算法和 QENN 算法。 （2）针对 RBQENN 算法的参数优化问题，本文提出了基于 GEP 的 RBQENN 算 法参数优化方法，该方法利用 GEP 算法在 RBQENN 算法参数取值范围内搜索最优 参数值，并通过实验证明提出的参数优化方法的有效性。 （3）针对 RBQENN 算法的维数灾难问题，本文提出了基于 GEP 的特征选择方 法，该方法利用 GEP 算法对数据集的特征组合搜索最优特征子集，并实验证明提 出的特征选择方法的有效性。 本文研究工作的意义： 通过本文中的实验表明本文提出的算法在分类和回归上都取得了较好的实 验结果，因此本文研究工作具有一定的应用价值。 关键字： k 最近邻；象限壳近邻；基因表达式编程；分类；回归；参数优化；特 征选择 I Abstract Prediction plays important role in data mining. Now, many companies use prediction technologies to improve business decisions, increase productivity, detect disease, forecast weather, and do many more things. The k NN algorithm is a simple and effective way to predict data. k NN algorithm is an example of instance-based learning, where you need to have instances of data close at hand to perform the machine learning algorithm. Because of k NN algorithm has advantages such as high accuracy, insensitive to outliers, no assumptions about data and so on. Thus it has extensive research and application in classification, regression, clustering. It has become one of top ten algorithms in data mining. However, k NN algorithm has some disadvantages in some application. For example, it achieves biased results towards the majority classes, has difficulty to make sure the best value of k , turns to be cursed by dimensionality. Therefore, researchers have proposed some new and improved algorithm for solving the problems of k NN algorithm. Fo