支持向量机及其应用研究.pdf

浙江大学博士后研究工作报告 摘要 统计方法是从观测自然现象或者专门安排的实验所得到的数据去推断该事 物可能的规律性。统计学习理论是在研究小样本统计估计和预测的过程中发展 起来的一种新兴理论，它试图从更本质上来研究机器学习问题，因此引起了人 们越来越多的重视。 支持向量机(svM)是在统计学习理论基础上发展起来的一种新的模式识 别方法，它是统计学习理论中的结构风险最小化思想在实际中的一利，体现。sVM 的基本思想是通过非线性变换将输入空间变换到一个高维空间，然后在这个新 的空间中求取最优分类超平面。它在解决小样本、非线性及高维模式识别问题 中表现出许多特有的优势，并能够推广应用到函数拟合等其他机器学习问题中。 本研究报告是博士研究工作的继续。因此本文主要由两大部分构成：其一是关 于SvM本身的研究；其二是关于应用的研究，包括如何利用SvM构建sVM控 制器、如何构造RVM软测量仪。 本研究报告的主要贡献如下： 1．回顾了统计学习理论研究的基本问题及主要内容。为了更好地说明统计学习 理论在实际中的实现问题，我们回顾了sVM的基本概念及基本理论。然后 介绍了sVM的研究现状，着重总结了sVM在控制领域的应用研究现状。 2．提出了稀疏核的极元分析(xcA)。xCA是主元分析(PCA)和次元分析 (McA)的最优线性组合。xcA同PCA一样不能处理极元和输入变量的非 线性关系。因此我们提出了稀疏核的xCA。使用极大似然法，通过逼近特 征空间的协方差矩阵，在不损失效用的情况下获得核xcA的高度稀疏形式。 3．针对多类回归模型估计问题提出了基于最小二乘sVM的模糊概率C聚类算 法，这种方法可以对样本进行聚类的同时实现对多个回归模型的估计。 4．提出支持向量机回归问题的状态空间表示形式，利用滤波的方法得到sVM 的序贯训练算法，在此基础上构建了SVM前馈控制器。 5．针对一类单输入单输出的非放射非线性系统，通过状态反馈的方法，利刷前 面提出的svM序贯训练算法构建了SVM自适应控制器。 ti 摘要 6．对一类放射非线性系统，当对象未知时，李雅普诺夫函数的构建导一个非常 难的问题，这里我们利用SvM来估计李雅普诺夫函数的导数达到非线性系 统的序贯SvM控制。 7．针对微生物发酵中需要有太景的软测量仪表的问题，提出了基于RvM的软 测量仪，针对动态问题讨论了RVM软测量仪的实现问题。svM软测量仪实 际上也是一种智能软测量仪表。 8．最后对全文进行了概括性总结，并指出了理论和应用上有待进一步研究的方 向。 关键词：统计学习理论；支持向量机(SvM)；最小二乘svM；模糊c聚类；模 糊：微生物发酵；软测量；极元分析 浙江大学博士后研究工作报告 Abstract Statisticsisfoinf打the lawofnatureaccord协叠toobservationdataStatistlcal isa the theory statisticale州matjonand 1earning newlydeVelopedtheoryfor咖dying b8sedonsmallnumber studiesthenatureofmachine predictjonproblem ofsaI印1es．It moreandmore ill areinterestedit． 1earning，so people Vector anewmethodfor basedon Supportmachine(SVM)ispa札emrecognjtjon