基于分类SVM时间序列预测研究.docVIP

基于分类SVM时间序列预测研究 　　摘要：文章讨论了基于分类的SVM非线性回归算法及其在时间序列预测中的应用。与传统SVM回归算法相比，本算法有更强的不敏感性和健壮性、参数值可设定性并可避免过拟合现象。文中提出了一种计算预测模型初始参数值的方法，可以高效地找到较好的模型参数，并通过实验对方法的有效性和可行性进行了验证。 　　关键词：SVR（支持向量回归）；时间序列；回归算法；训练算法；核函数 　　 　　一、 引言 　　 　　预测是作为决策、规划之前的必不可少的重要环节，是科学决策、规划的重要前提。时间序列预测是预测领域内的一个重要研究方向，在过去的半个多世纪里得到了迅速的发展，特别是对线性时间序列分析的研究，已取得了系统和丰富的成果。但是，对于非线性时间序列分析的研究，仅在近二十年里才逐渐被重视起来。综观国内外在这一方向上的研究概况，前期工作大多局限于对几类典型非线性时间序列模型的参数辨识算法和建模方法等进行研究，然而，由于现实系统的复杂性，人们在预测时存在着正确选择模型的困难，便利这些方法的应用受到很大的限制。于是，人们把目光转向了近年来兴起的人工神经网络模型。传统的时间序列预测采用的是统计和神经网络等方法，如YiMin Xiong，Di-Yan Yeung的文章Time series clustering with ARMA mixtures中用的ARMA方法和Ildar Batyrshin， Raul Herrera-Avelar等的文章 Association Network in Time Series Data Mining中使用的一种关联网络方法。统计建模方法要求时间序列具有平稳性、正态性、独立性，这个方法不适用于复杂时间序列。SVM具有很好的非线性逼近能力，但它存在模型结构难以确定，易出现过度训练或训练不足，陷入局部最小且对连接权初值敏感，并过度依赖设计技巧。目前国外已有将支持向量机用于时间序列预测的研究，如Sayan Mukherjee， Edgar Osuna和 Federico Girosi的 Nonlinear Prediction of Chaotic Time Series Using Support Vector Machines就是这一方法的研究。但这些基于SVM的时间序列研究多是针对理想数据，如人工混沌序列数据等，因此支持向量机在回归中的研究还有许多不尽如人意的地方，有很大的研究余地，本文对此作了较为系统深入的研究。另外，对于现实世界中常表现出非线性时间序列，人们试图用支持向量机进行预测，但相关理论成果零星分散，且存在许多不足，本文对此进行了较深入的研究。 　　本文安排如下：第二节介绍了基于SVM的时间序列预测模型；第三节阐述了基于分类SVM的网络训练算法和回归算法，并将其与传统的预测模型结合；在第四节描述了一个使用这一预测方法的实验，实验数据来源：personal in come and its disposition of USA: billions of dollars；SAAR（quarterly）；最后在第五节分析了实验结果并对其进行了总结。 　　 　　二、 基于SVM的回归与预测 　　 　　SVM进行回归与预测的一般思想是用一个非线性映射 将数据 映射到一个高维特征空间F上，并在此空间进行线性回归，通过此种方法，实现将低维特征空间的非线性问题转化为高维特征空间线性回归问题解决。由统计学习理论可以得到回归函数如下： 　　 　　4． 算法中ε值和σ初始值的计算方法。 　　（1）不敏感损失函数ε的引入，把SVM推广到非线性系统的回归估计，并展现了极好的学习性能。基于SVM方法的回归估计以可控制的精度逼近任意非线性函数，同时具有全局最优、良好的泛化能力等优越性能。SVM通过参数控制回归估计的精度，但ε取多少才能达到所期望的估计精度是不明确的。 　　在本文中，我们通过实验得出了一个比较有效地确定 ε初始值的简单方法，可以通过（d′*d″）/sprt（d）=2ε来计算，其中d是原始样本数据的平均值，d″是原始数据各点的二阶导数的平均值。这种方法给定的ε初始值不是最优，只是一个大概的值，但它离最优值很接近。我们通过经验调节得到的最优值往往都在这一初始值周围。这样我们在预测时可以在这一初始值的附近调整即可得到比较满意的 ε值。 　　（2）预测曲线性能的优劣主要取决于核函数，当选定核函数后，σ值的选择对于曲线的预测效果也有着至关重要的影响。本例中而言，选择的核函数是Gauss核函数，若使用的核宽度相对来说比较大，会得到较为平缓的预测函数，这样得到的拟合效果不好，对应的泛化能力必然很差。相反，若使用的核宽度过小，会得到较为尖锐的高斯函数曲线，使得每个样本点都成为高斯函