基于支持向量回归的非线性系统辨识.docVIP

基于支持向量回归的非线性系统辨识 张元林,郑南宁,贾新春 (西安交通大学人工智能与机器人研究所,陕西西安　710049) 3　支持向量回归(Support vector regression) 支持向量机用于回归问题,如Vapnik[3]所述,利用核函数将输入数据映射到高维特征空间F(通常是无限维),在特征空间实现线性回归.估计函数具有如下形式: (4) 这里,映射到特征空间,〈〉表示特征空间中的内积,w∈F且b∈R. 　　为从训练数据集D估计函数f,典型的支持向量回归最小化正则化风险泛函: Rreg[f] =Remp[f]+‖w‖ =‖w‖ (5) 这里正则化参数λ为正数,损失函数c选择为ε-不敏感损失函数,形式如下: cε(u) =　　　　　　 (6) 其它可以通过解二次规划的优化问题来最小化正则化风险泛函(式5) .解w可以表达为在特征空间F与函数φ(x)的线性组合有关的形式： w = (7) 这里系数,∈R通过解凸二次规划问题确定.对应-≠0的点(,)称为支持向量.核函数K(,)对应映射到特征空间的数据的内积,即: K(,) =φ(xi)φ() (8) 核函数K(,)可以是任意满足Mercer条件的对称函数,因此,估计函数也可以具有如下形式: f(x)= (9) 支持向量回归的