人工智能-集成学习报告[实用].pdfVIP

《人工智能》实验报告（一） 1 / 15 人工智能实验（一） Bagging 算法 【实验目的】 熟悉 Bagging 算法原理、框架及应用场景，并在 Matlab 中采用 Bagging 算 法对数据集进行进行分类， 分析在同一数据集下， 不同的弱学习算法产生的结果。 【算法思想】 从大小为 N 的原始数据集 D 中，分别独立随机地抽取 n 个数据（ n<N ）形 成自助数据集， 并且将这个过程独立进行许多次， 直到产生很多个独立的自助数 据集。然后，每一个自助数据集都被独立地用于训练一个“分量分类器” ，最终 的分类判决将根据这些“分量分类器”各自的判决结果投票来决定。通常，这些 分量分类器的模型形式都是一样的， 例如，他们可能是都是 HMM 分类器， 或者 都是神经网络分类器， 或者都是判定树， 等等。当然它们的具体模型参数可能不 同，这是由于各自的训练集的不同而引起的。 Bagging 算法是一个“多分类器系统” ，其中，最后的分类结果取决于许多 分量分类器的输出。 而 Bagging 算法中的最基本的判决规则， 就是对各个分量分 类器的判决结果使用投票表决原则。 【算法分析】 Bagging 方法中，各学习器的训练集由从原始训练集中随机选取若干示例组 成，训练集 的规模通常与原始训练集相当， 训练示例允许重复选取。 这样， 原始训练集中某 些示例可 能在新的训练集中出现多次，而另外一些示例则可能一次也不出现。 Bagging 方 法通过重新 选取训练集增加了集成学习的差异度，从而提高了泛化能力。 Breiman 指出，稳定性是该算法能否发挥作用的关键因素， Bagging 能提高 不稳定学习算法的预测精度， 而对稳定的学习算法效果不明显， 有时甚至使预测 2 / 15 精度降低。 如果训练数据的较小变化， 就能够导致分类器的显著改变， 以及分类准确率 的较大变化，那么这种分类或学习算法就可以被非正式的称为“不稳定” 。例如 使用 “贪心算法”训练的判定树， 就有可能是不稳定的—仅仅由于单个样本点的 位置微小变化，都有可能导致最后的判定树完全不同，一般说来， Bagging 算法 能够提高 “不稳定”分类器的识别率， 因为它相当于对不连续处进行了平均化处 理。然而并没有理论推导或仿真实验表明它可以适用于所有的 “不稳定”分类器。 【算法框架】 for t =1,2, …,T 1、从数据集 S 中取样（放回选样）训练得到模型 Ht 。 2、对未知样本 X 分类时 ,每个模型 Ht 都得出一个分类，得票最高的即为未 知样本 X 的分类。 3、也可通过得票的平均值用于连续值的预测 for end 【仿真实验】 采用 diabetes数据集，分量分类器的构造分别采用决策树和 KNN(K=10) ， 进行 10 次实验，比较分类结果如下表所示： 实验次数 Bagging-决策树 Bagging-KNN 1 0.242188