关于组合分类器修剪方法的研究.pdfVIP

摘要 摘要 提高分类的准确率是数据挖掘和机器学习等领域一直关注的重要研究课 题。组合方法是目前比较流行的机器学习算法之一。但是大部分组合方法都存 在一个共同的问题：倾向于构建大量的基分类器。这样势必会加大内存需求和 延长响应时间。组合修剪是处理该问题的一种有效方法，即选择全部基分类器 的一个子集作为组合分类器来对未知样例进行预测。目前比较成熟的组合修剪 方法有向前选择、向后选择和向前向后选择。这三种方法都是以贪心搜索的方 式增加或删除一个基分类器，收敛过快，很容易达到局部最优，严重影响了修 剪后所得组合分类器的性能。 针对以上组合分类器修剪方法容易达到局部最优，本文从增大搜索空间的 角度出发，提出了一种基于束状搜索的组合分类器修剪方法(EPBBS)。该方法 使用束状搜索策略对基分类器进行选择，在每一步增加或删除一个基分类器时 都保存最优的前阶组合。既保持了原有组合修剪方法中贪心搜索算法的高效剪 枝特性，又有效减小了贪心搜索过快收敛到局部最优解的可能性，使修剪得到 的组合分类器更接近于全局最优。除了算法的理论分析外，本文还设计了三个 实验，分别从分类性能和组合规模的角度与原有的组合修剪方法向前选择、向 后选择和向前向后选择进行对比。实验结果与分析表明，EPBBS算法在大部分 数据集上都具有更高的分类性能，而且组合规模也有所降低。 关键词：组合分类组合修剪束状搜索决策树 Abstract Abstract ofclassifieris amain indata andthe Improvingaccuracy always topic mining of ofmachine ensemblemethodisone machinq field learning．Nowadays popular methodshavethesame ensemble disappointment： learningalgorithms．However,most for toconstructmuchbaseclassifiers．Itresult demand ithas instringent tendency and time．Ensembleisaneffectivemethodin memory longerresponse pruning space classifiersto fromallthebase the selectsasubset with dealing problem，which whichare therearethreemethods theunknown the time present predic