基于决策树的组合分类器的研究-计算机应用技术专业论文.docxVIP

西安电子科技大学 学位论文独创性（或创新性）声明 秉承学校严谨的学风和优良的科学道德，本人声明所呈交的论文是我个人在 导师指导下进行的研究工作及取得的研究成果。尽我所知，除了文中特别加以标 注和致谢中所罗列的内容以外，论文中不包含其他人已经发表或撰写过的研究成 果；也不包含为获得西安电子科技大学或其它教育机构的学位或证书而使用过的 材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中做了明确的说 明并表示了谢意。 申请学位论文与资料若有不实之处，本人承担一切的法律责任。 本人签名： 日期 西安电子科技大学 关于论文使用授权的说明 本人完全了解西安电子科技大学有关保留和使用学位论文的规定，即：研究 生在校攻读学位期间论文工作的知识产权单位属西安电子科技大学。学校有权保 留送交论文的复印件，允许查阅和借阅论文；学校可以公布论文的全部或部分内 容，可以允许采用影印、缩印或其它复制手段保存论文。同时本人保证，毕业后 结合学位论文研究课题再攥写的文章一律署名单位为西安电子科技大学。 （保密的论文在解密后遵守此规定） 本学位论文属于保密，在 年解密后适用本授权书。 本人签名： 日期 导师签名： 日期 摘要 组合分类器是近年来机器学习领域非常热门的一种建模方法。组合学习是这 样一个过程，多种模型，如分类器或专家系统，以某种策略分别产生并组合起来 解决一个特定的计算智能问题。组合学习主要是用来提高模型的性能，或降低选 择一个很差的模型的可能性。 本文以组合分类器为主要研究对象，重点对几种组合分类器算法，装袋，提 升，随机森林，旋转森林进行了深入的研究。 本文通过实验对 bagging，AdaBoost 和 random forest 算法进行了比较，证实了 random forest 的设计思想：在 bagging 的基础上引入变量选择的随机性，是非常有 效的。Random forest 不仅能显著减少算法的运行时间，而且绝大多数情况下可以 提高预测的准确率，这也正是 random forest 适合处理高维数据的原因。 在 UCI 数据集上进行实验，确定了 rotation forest 算法中两个参数的最佳取值 方法，证实了 rotation forest 在小规模集成情况下即可获得较好的识别率。 根据不平衡数据集的特点，改进 random forest 和 AdaBoost 算法。AdaBoost 中引入基分类器对样本不同类别的识别权重。随机森林则在三个方面：自助样本 的生成，最佳分离值的寻找，叶子结点标签的确定都加入了样本权重。在 UCI 数 据集上进行实验，证实了改进的 AdaBoost 算法的有效性及存在的缺陷，确定了 weighted random forest 算法中正负类权重的设置范围。实验表明，处理不平衡数据 类的时候，若权重设置合适，weighted random forest 可以取得比 random forest 更好 的识别效果。 关键字：组合 装袋 提升 随机森林 旋转森林 Abstract Ensemble learning is the process by which multiple models, such as classifiers or experts, are strategically generated and combined to solve a particular computational intelligence problem. Ensemble learning is primarily used to improve the performance of a model, or reduce the likelihood of an unfortunate selection of a poor one. This paper focused on several ensemble learning algorithms–bagging，boosting， random forest and rotation forest. In this paper, bagging, AdaBoost and random forest were compared. Experiments confirmed that the design idea of the random forest: the introduction of the randomness of the variable selection on the basis of bagging is very effective.This randomness can not only