支持向量机方法及其应用.docVIP

支持向量机方法及其应用 摘 要 支持向量机是一种实现了结构风险最小化原则的分类技术,它具有出色的小样本学习性能和良好的泛化性能,与传统神经网络法相比,它具有在小样本下高精度地逼近函数的能力,并且可以避免维数灾难,具有一定的工程实用价值．本文给出了支持向量机方法在股票,期货中的应用. 关键词： 支持向量机,小样本学习,应用. THE ANPPLICATION OF SUPPORT VECTOR MACHINE ABSTRACT The Support Vector Machine(SVM) is a kind of classification skill of attaining the minimal stracture risk principle . It has the ability of approximating the target function at a high precise,it avoid the dimensional disaster.and therefore has important engineering applicable value.In the present paper,we shall give some applications in share certificate and futures. KEY WORDS: Support vector machine;Small sample learning;Application. 引 言 支持向量机实现的是如下思想：它通过某种事先选择非线性映射将输入向量x映射到一个高维特征空间Z,在这个空间构造最优分类超平面. 图1 输入空间到到特征空间的映射 SVM是在统计学习理论指导下发展起来的实现了结构风险最小化思想的新学习法．是数据挖掘中的一项新技术,是借助于最优化方法解决机器学习问题的有效工具,它最初20世纪90年代由Vapnik提出,克服了”维数灾害”和”过学习”等传统困难的有力工具,它将分类和回归问题转化为二次优化问题,其解具有全局最优性,并且与样本点的具体分布关．以下简要介绍SVM的基本思想． 1 支持向量机算法 给定训练样本集 式中为训练样本,l为样本量,Y为的类别标识．定义一个能够将两类样本点正确分开的超平面 (Wx )+ =0, 式中()是n维矢量空间的两个矢量的内积． 对于线性可分的训练集,可能存在无数个能够正确分开两类样本的超面,SVM方法确定出一个超平面使离超平面最近的样本点到超平面的距离(分类间隔)最大,称为最大间隔超平面或最优超平(maximal margin hyperplane or optimal hyperplane)． 构造最优超平面问题可转化为最小化下列泛函问题 =(WW)／2, S．t． 这是一个二次优化问题,解可由Lagrange函数的鞍点给出 式中a ≥0(i=1,2,…,f)为Lagrange系数,求Lagrange函数关于W和的极小值得到 W = 考虑KKT条件,得到原始问题的对偶优化问题 s.t. , 对于非线性可分样本,线性支持向量机分类能力有限,求得的解常常因为误差太大而失去了实际意义．非线性支持向量机算法的基本思想是通过非线性变换将输入向量映射到高维特征空间z,在特征空间内构建最优分类超平面． 图1解释了这种映射思想． 在特征空间构建最优分类超平面,仅涉及到矢量的内积计算,核函数提供了更简单实用的方法,它不需要知道非线性变换的表达式． 高维特征空间两个矢量和的内积是输入空问中的向量的函数 (, 式中为核函数,只要满足Mercer条件,即可用来计算内积． 常用的满足Mercer条件的核函数有以下一些： 多项式核函数： . Gauss基核函数: . 多层感知核: . (选定核函数后,对于非线性可分训练样本,在高维特征空问,最优分类而是个超平面,而在输入空间最优分类面是个超曲面(非线性的),据此可以构造出决策函数(指示函数)： , 上式表示了基于支持向量机的分类规则． 2. 支持向量机回归算法 考虑给定n个学习样本（）,,,i=1,2,...n,线性回归研究的目标就是找到回归函数 （1） 式中为,b,W与X的内积.在以往的学习算法中,优化目标是使经验风险即样本损失函数L() L()= (2) 的累积最小化,如最小二乘法,所求的（W,b）应满足 min=. (3) 然而,统计学习理论指出,经验风险最小并不能保证期望风险最小.在结构