神经网络的局限性与支持向量机的研究.docxVIP

神经网络的局限性与支持向量机的研究 证券市场是现实生活中一个典型的复杂系统。由于其复杂性，不仅还有许多因素影响市场，而且它们之间的相互作用是非线性和时间的变化。系统内部这些相互作用的因素或状态变量之间的关系也许永远都是一个迷,即难以建立完整的描述市场的动力方程。如果将股票价格序列看作系统的输出那么可以缓解无法建立市场动力市场方程的遗憾。因为作为系统的输出,价格序列毕竟是影响市场各种因素相互作用的结果,因此,价格序列必定载有关于系统状态变量的信息。本文利用体现统计学理论思想的支持向量机实现金融时间序列的预测,即证券价格变动趋势的多步预测。 1 神经网络采用经验风险最小准则的对象 {xt}是一金融时间序列,时间序列预测就是构造映射关系f:Rm→R 为叙述方便,将上述映射关系表示成系统输出yi与系统状态或输入xi之间的关系,即yi=f(xi),yi∈R,xi∈Rm。Takens定理保证,在一定条件下,对于任意时间延迟f与某些m≤2D+1(系统轨迹坐落在分型维为D的流型上),存在光滑映射f:Rm→R。神经网络为逼近这一非线性影射关系提供了很好的选择,如,对于多层感知机和径向基函数网络,如果给定足够多的神经元,可以对任意连续(光滑)函数以任意精度逼近。但是神经网络也存在严重的局限,如隐层节点数的确定、局部最优,尤其是网络的训练以训练误差最小为原则,极大限制了网络的推广能力。具体说明如下,预测是基于y与x之间存在某种未知的依赖关系这一基本假设,即存在一个未知的联合概率分布P(x,y)。基于机器学习的时间序列预测就是根据n个独立同分布的观测样本 (x1,y1),(x2,y2),…,(xn,yn) 在函数集S={f(x,w),w∈K}中寻求一个最优函数f(x,w0),使预期的期望风险或实际风险 最小。其中,L(y,f(x,w))为用f(x,w)对y进行预测造成的损失。然而,由于P(x,y)未知,仅仅利用样本信息无法直接计算期望风险的最小化。因此,神经网络(包括传统优化方法)利用经验风险 最小化来替代实际风险最小,即经验风险最小准则。 值得指出的是,神经网络及其他传统优化方法利用经验风险Remp最小代替实际风险R最小仅是直观上的考虑,缺乏坚实的理论依据。Remp(w)和R(w)都是w的函数,大数定理只能保证当样本数趋于无穷大时,Remp(w)只是在概率意义上趋近于R(w),并不能保证使Remp(w)最小的w*同时也使R(w)最小(最典型的情况就是神经网络的过学习问题),更不能保证Remp(w)的最小值与R(w)的最小值彼此接近。另外,即使样本数足够大,可以用Remp(w)替代R(w),但仍无法保证在样本数有限时这种替代是有效的。 由于真实风险求解的困难性,人们多年来只能致力于解决经验风险最小化问题。那么经验风险与期望风险之间究竟存在着怎样的关系呢?这正是统计学习理论所研究的问题。如果损失函数(,f(x,w))为一般的有界非负实函数,即0≤L(y,f(x,w))≤B,则经验风险与实际风险之间至少以概率1-Z满足如下关系: 其中, 0T1≤4、0T2≤2;H为置信范围,随样本数n增加而单调减少,随函数集S={f(x,w),w∈K}的VC维h增加而单调增加。对于一个特定问题,样本数n是固定的,因此应使函数的VC维h尽量小,但是具有较小VC维的网络结构相对简单,即隐节点数目不是“足够多”,使得网络的逼近函数能力下降,这就是为什么复杂网络(n/h较小)虽然具有很小的训练误差,但推广能力差(即过学习)的根本原因。由式(3),经验风险最小并不一定意味着实际风险也最小。 统计学习理论与神经网络之间的一个关键区别是决策算法的优化准则,后者采用经验风险最小化准则,实际上是训练误差最小化;而本文采用的基于统计学习理论的支持向量机则是最小化结构风险,在经验风险与置信范围两者间进行权衡,即式(3)左端最小化,最终降低真实风险,等价于推广误差最小。支持向量机较传统方法具有小样本学习特性,全局最优和推广能力强等突出优点。 金融市场是一个非常复杂的非线性系统,价格变化的统计特性是非平稳的。如果用传统的神经网络(多层感知机)预测证券价格的变动趋势,由于问题的复杂性,网络结构也要相应复杂一些,这势必要求较多的样本(以保持式(3)中h/n较小),否则容易导致过学习。而样本越多,其间统计特性的变化越剧烈,反过来又造成网络学习的困难。因此,采用具有小样本学习特性的算法是非常必要的。 2 结构风险同化策略 由上一节的分析,必须使式(3)右端的经验风险和H同时最小才能达到实际风险最小化的目的。在神经网络中,网络结构和训练算法一经选定,H也随之确定,然后最小化经验风险Remp。只有在网络结构和算法复杂度合适的情况下,才能取得较好的结果。但由于缺乏对H的了解,造成神经网络的使用者对技巧过分依