5实验结果思考.PDFVIP

第二章 自适应样本选择技术及其算法 由图2.10，图2.11可见，ASS算法的拟和效果和预测效果都要比SSBoost 要更好，前三轮迭代，由十ASS_Boost选择新训练集为对提高拟和精度更有效 的误差集，因此其误差的下降速度比SS一oost要快的多。后面的迭代，更多地 是表现为对训练样本集的调整作用，SSBoost算法的性能赶上了ASSBoost算 法，两者效果差不多。因此，ASS相比SS算法的优势就在于它能对初始拟和不 足的情况作出快速改进，随着迭代程度的增加，其性能和收敛情况都更加趋向于 SSBoost算法的结果。 2.5实验结果思考 1.Boosting算法的迭代轮数并不是越多越好。实验结果显示，学习系统性 能的改善主要发生在最初的若干轮中。要使算法的误差迅速收敛，除了使基础学 习算法本身对样本集的拟和程度较高外，还要使迭代算法能迅速减小那些大误差 样本对组合算法的影响。 2.本文中将误差的平方作为样本的权值，采用一些指数函数将会使大误差 样本获得相对更大的权重。加大对大误差样本的训练会使组合算法对大误差样本 训练结果变好，但这以丧失对其它样木的敏感度为代价，可能损失更多的样本信 息。具体采用何种方法调整误差权值比，使得大误差样本对误差减小的贡献大于 由于损失了其它样本对增大误差的贡献，还有待研究。 3.图2.3跟踪的是CSP算法在CSPBoost第二轮后迭代的结果。由于第一 轮的训练样本就是初始训练样本，而且权值都是1/m，因此第一轮后的误差都是 相同的。从第二轮开始，由于根据第一轮后新生成的权值选择样本，CSPBoost 第二轮的训练样本都是不相同的。图2.3显示，最小拟和误差为4.3874，最小预 测误差为5.1029，其效果要比SSBoost算法要好的多。这说明SSBoost算法选 择的样本集并不是完美的，如何更好地选择样本，方法还有待进一步的研究。 4.从图2.8和图2.9发现，搜索精度为0.01的SSBoost算法第三轮迭代后 拟和误差持续减小的情况下，预测误差开始变大。由此证明，Boosting算法的确 会出现过拟和的情况。 2.6小结 本章介绍Boosting梯度下降理论和几种Boosting回归算法，用仿真结果证明 了有权值算法相比无权值算法的优越性。提出了一个在精度限制下搜索最小误差 的样本选择算法，并用仿真证明其相比其他算法的有效性。最后是对仿真实验的 一些思考。