集成剪枝评估准则及ps-elms模型在时间序列预测中的应用研究-application research of integrated pruning evaluation criteria and ps - elms model in time series prediction.docx

摘要集成剪枝技术可以有效解决集成学习存在的高计算复杂度的缺点。在各种集成剪枝方法中， 基于排序的集成剪枝方法方法简单但具有良好的性能优势。基于排序的集成剪枝方法的评估准 则是影响其性能的关键要素。本文提出了四种可以应用于时间序列预测的基于排序的集成剪枝 方法的评估准则，分别是：ComTSP，ConTSP，ReTSP-Value，ReTSP-Trend，PocidTSP。ComTSP 评估准则是根据面向分类问题设计的 Com 准则改造的。ComTSP 评估准则的设计 原理是如果子集成系统在剪枝集上的预测误差大于候选预测器在剪枝集上的预测误差，并且超 过一定的阈值，那么这个候选预测器就是与子集成系统互补的。在每次选择一个候选分类器， 使得在将其并入到子集成系统中形成新的子集成系统后的预测误差最小。ConTSP 评估准则是 根据面向分类问题的 Con 评估准则而改造设计的。ConTSP 的设计原理是奖励能做出正确预测 结果的候选预测器，并且如果候选预测器能做出正确预测结果而子集成系统不能做出正确预测 结果，那么候选预测器应当给予更多的奖励。反之，如果候选预测器连同子集成系统都不能做 出正确的预测结果，那么候选预测器就应当受到惩罚。ReTSP-Value 和 ReTSP-Trend 评估准则 根据 RE 评估准则而设计的，其设计原理很简单，就是选择一个候选预测器使得其并入到子集 成系统中形成新的子集成系统的预测误差最小。然而，ReTSP-Value 和 ComTSP 评估准则有一 个共同的缺陷就是，这两种评估准则不能保证从候选预测器中选择到与当前子集成系统最互补 的预测器。引起这个问题的原因是时间序列的预测误差具有方向性，所以说，以减小误差大小 而忽略误差方向性为目标的评估准则的设计是不合理的。然而，本文设计的 ReTSP-Trend 集成 剪枝评估准则同时考虑了预测误差的大小以及方向性，克服了其他集成剪枝评估准则存在的缺 陷，可以选择到一个与当前子集成系统最互补的候补预测器。另外，有效预测时间序列的趋势 对时间序列的预测具有很重要的意义。与以上面向提高时间序列预测精度而设计的集成剪枝评 估准则不同的是，本文提出的另一种集成剪枝评估准则 PocidTSP 是面向提高时间序列趋势的预 测能力而提出的。极限学习机（ELM）与梯度下降学习算法相比，具有学习速度快，泛化性能好，避免陷入 局部最优解而直接求得最优解等优良特性。本文还以 ELM 为学习算法提出了一种新的面向时 间序列预测的集成模型 PS-ELMs。它根据 Stacking 集成方法，使用 ELM 算法构成集成系统集 合，并使用一个元方法组合集成系统中基模型的输出。其与传统 Stacking 方法不同的是，集成 系统加入了剪枝的过程，以减弱集成系统中具有相关隐含节点的 ELM 模型和随机设置初始权 值得到的 ELM 模型带来的随机性对集成系统的影响。本文提出的 PS-ELMs 可以自然地继承 ELM 算法的优势，并且通过使用集成剪枝的策略，可以在一定程度上改善其存在的缺点；其次 使用集成剪枝方法有益于提高时间序列预测模型的鲁棒性和预测性能，弥补了当前研究工作的i不足；最后，PS-ELMs 模型的提出可以促进对 Stacking 集成方法的研究进展。 关键词：集成剪枝，时间序列预测，基于排序的集成剪枝方法，ComTSP，ConTSP，ReTSP-Trend，极限学习机，PS-ELMsiiBSTRACTEnsemble pruning is a desirable and popular method to overcome the deficiency of high computational costs of traditional ensemble learning techniques. Among various of ensemble pruning methods, rank-based pruning is conceptually the simplest and possesses performance advantage. While five evaluation measures, ComTSP, ConTSP, ReTSP-Value, ReTSP-Trend and PocidTSP, for rank-based ensemble pruning specifically for time series prediction are proposed by us in this paper.The first one, i.e. Complementarity measure for time series prediction (ComTSP),