基于距离类中心最近分类器和朴素贝叶斯分.pdfVIP

基于距离类中心最近分类器和朴素贝叶斯分 类器的投票规则 刘志杰 学号：mg0633026 （南京大学计算机与科学技术系南京市 210093 ） Voting Principle Based on Nearest kernel classifier and Naive Bayesian classifier Liu Zhijie Abstract : This paper presented a voting principle based on multiple classifiers. This voting principle was based on the naïve Bayesian classification algorithm and a new method based on nearest to class kernel classifier that was proposed. The recognition ability of each classifier to each sample is not the same. A model of each classifier was obtained by the training on the train data, which acts as basis of the voting principle. After that, They were collected to make a decision according to the majority voting. The experiment shows that the presented voting principle achieves good performance for high recognition. Key words: Voting principle; Multiple classifiers; Naive Bayesian classifier; Nearest kernel classifier 摘 要: 本文提出了一个基于多种分类器的投票规则。它基于一种新的距离类中心最近的分类算法和朴素贝叶 斯分类算法。每种分类器对不同的模式的识别率不相同。每种分类器从训练集上训练所得的模型构成了投票规则 的基础，最后的结论由相对多数投票决定。实验数据表明，该方法可以提高分类的准确率。 关键词: 投票规则；多分类器；朴素贝叶斯分类器;最近距离分类器 1 前言 分类技术有着非常广泛的应用，分类技术的核心是构造分类器，常见的分类器有决策树、神经网络、贝 叶斯分类器等。但在使用过程中，单一的分类算法难以获得完全令人满意的性能，同时在分类中利用不同的 分类器得到不同的分类结果，这些结果之间往往存在着很强的互补性[1][2] 。因此通过把多个分类器的分类结 果进行融合能有效的提高分类识别效果及增强识别系统的鲁棒性，因此目前多分类器融合方法得到了广泛的 [3] 应用并成为了一个令人关注的热点 。 对分类器进行融合的简单方法就是进行投票表决，如多数票同意规则和完全一致规则等等。本文采用的 分类器技术为朴素贝叶斯分类算法和最近距离分类算法。 在多种分类技术中，朴素贝叶斯分类器由于具有坚实的数学理论基础及综合先验信息和数据样本信息的 能力，而且简单有效，所以得到了广泛的应用。但是，朴素贝叶斯分类器基于“独立性假设”前提，而现实 世界中，这种独立性假设经常不满足，因此影响了朴素贝叶斯分类器的分类精确度。如果将属性间的依赖性 [4] 考虑进来，放松独立性假设条件，就可以进一步扩展朴素贝叶斯分类器 。 本文提出了一种新的分类器算法，对于每一类，基于训练样本构造出类中心点的坐标。然后对每一个测 试数据，求出它到每一类中心点的距离，其中距离最短的即为其分类，也即为测试样本到哪一类的中心最近， 即属于那一类。 在本文中，第2 部分介绍朴素贝叶斯分类算法在分类过程中的应用。第3 部分介绍最近距离分类算法的 应用。第4 部分介绍在使用两种分类算法得出的结果之上进行处理并投票决定最后的分类结果。第5 部分为 对分类算法进行 10－折交叉验证法（10-fold cross-validation）评估得出的数据，表明此投票规则具有较好的