基于随机映射神经网络的多元时间序列预测方法研究-控制理论与控制工程专业论文.docxVIP

研究生优秀毕业论文大连理工大学博士学位论文摘要多元时间序列广泛存在于自然、工业、经济、能源和社会等领域的实际复杂系统之中。研究如何有效地从这些时间序列中挖掘出潜在的有用知识、构建预测模型，不仅有利于理解与认识实际复杂系统，而且能够为相应的控制、决策和调控提供理论支持。本文以基于随机映射神经网络的多元时间序列预测为题进行研究，以两种随机映射神经网络：极端学习机与回声状态网络为预测模型，探索适用于多元序列预测的随机映射神经网络的离线与在线建模方法，主要取得以下三方面研究成果：l、提出基于模型选择与改进训练算法的极端学习机预测方法。针对极端学习机的隐含层节点个数确定问题，设计基于模型选择算法的极端学习机，实现最优隐含层节点个数的选择。针对极端学习机伪逆训练算法易出现病态解问题，引入信赖域Newton训练算法，较伪逆算法取得更优的训练结果，且尤其适合于大规模样本问题。考虑到不同样本对预测具有差异性影响的问题，根据预测误差对样本施加不同的权重，建立基于样本加权算法的核极端学习机。针对核极端学习机的核函数选择及核参数优化问题，开发多核极端学习机，组合多个不同类型或者不同参数的核函数，增加预测模型表达能力。2、提出基于改进训练算法与层级结构的回声状态网络预测方法。将含噪时间序列的预测误差分解为预测模型偏差和输入扰动误差，指出高精度建模的关键是对两者进行有效平衡，并在噪声有界假设下，建立鲁棒回声状态网络。针对支持向量回声状态机正则化系数难以确定和单一正则化系数制约其预测精度的问题，在优化问题中对正则化系数进行加权，并采用解轨迹算法求解，得到加权支持向量回声状态机。针对复杂多元时间序列预测问题，设计层级结构回声状态网络，第一层采用多个带有跳跃的环形储备池进行动态特征提取，第二层对提取出的动态特征进行特征选择后采用极端学习机建模。3、提出基于改进在线训练算法的随机映射神经网络在线预测方法。针对多元时间序列的在线建模问题，引入基于在线LM训练算法的极端学习机，结合极端学习机的随机隐含层生成机制，推导出Hessian矩阵和梯度向量的迭代计算公式。针对非平稳时间序列的预测问题，设计基于在线序列训练算法的核极端学习机，依据核极端学习机的拉格朗日函数，推导出增量学习算法和减量学习算法，并设计固定时间窗预测策略。针对回声状态网络缺乏有效在线训练算法且存在不适定性的问题，建立基于在线稀疏训练算法的回声状态网络，通过在目标函数中增加三1正则项以改善不适定性，采用截断梯度算法进行在线近似求解，并理论证明方法的有效性。关键词：多元时间序列；预测；随机映射神经网络；极端学习机；回声状态网络万方数据基于随机映射神经网络的多元时间序列预测方法研究ABSTRACTMultivariatetimeserieswidelyexistinthecomplexsystemsofnatural，industrial，economic，energyandsocialareas．Theresearchonhowtoeffectivelyminepotentiallyusefulknowledgefromthesetimeseries，andbuildpredictionmodels，notonlycanhelpUStocomprehendandunderstandtheactualcomplexsystems，butalsocanprovidestheoreticalsupportforcontrol，decisionandregulation．Thisdissertationwillfocusonmultivariatetimeseriespredictionbasedonrandomprojectneuralnetwork，andusetwonewlyproposedrandomprojectneuralnetwork：extremelearningmachineandechostatenetworkaspredictionmodelstodevelopofflineandonlinemodelingmethodsthataresuitableformultivariatetimeseriesprediction．Itcovers：1．Theextremelearningmachinepredictionmethodsbasedonmodelselectionandimprovedtrainingalgorithmsareproposed．Fortheproblemthatthenumberofextremelearningmachinehiddenlayernodesisdifficulttodetermine，extremelearningmachinebasedonmodels