基于局部有效性选择性决策树集成.pdfVIP

基于局部有效性的选择性决策树集成 （申请南京大学理学学士学位论文） 培养单位： 南京大学计算机科学与技术系 专 业： 计算机科学与技术 本 科 生： 俞 扬 指导教师： 周 志 华 教 授 二○○四年五月 基于局部有效性的选择性决策树集成 俞扬 （001221154 ） （南京大学 计算机科学与技术系，南京 210093 ） 摘要： 集成学习通过为同一个问题训练出多个个体学习器并将结论进行合成，可以显著地提高 学习系统的泛化能力。最近，一些研究者提出了选择性集成，即从训练好的学习器中选择一 部分进行集成，可能获得比用所有学习器进行集成更强的泛化能力。本文对此进行了研究， 并通过在局部样本空间上选择学习器，提出了一种基于局部有效性的选择性集成算法 Lovsen。该算法使用k 近邻来确定个体学习器在局部样本空间的有效性，从而为待预测的样 本选择合适的个体学习器进行集成。实验结果表明，Lovsen 可以较为稳定地生成泛化能力 较强的决策树集成。 关键词： 机器学习; 集成学习; 选择性集成; 决策树; 惰性学习; k 近邻 Local Validity Based Selective Ensemble of Decision Trees YU Yang (001221154) (Department of Computer Science and Technology, Nanjing University, Nanjing 210093, China) Abstract: Ensemble learning can significantly improve the generalization ability of learning systems through training a finite number of neural networks and then combing their results. Recently, a new ensemble learning approach named selective ensemble has been proposed, which can further improve learning system’s performance through ensembling many instead of all the base learners at hand. In this paper, the problem of selective ensemble has been investigated. Through ensembling base learners from local instance space, a novel local validity based selective ensemble approach name Lovsen has been proposed. Lovsen employs k-nearest neighbor algorithm to determine the local validity of base learners and then ensembles appropriate base learners for unseen instances. Experiments show that Lovsen can stably generate ensemble of decision trees with better generalization ability. Keywords: Machine Learning, Ensemble Learning, Selective Ensemble, De