统计学习理论与支持向量机在过程控制中应用.pdfVIP

维普资讯 综述 与评论 化工自动化及仪表，2004，31(5)：1—6 ControlandInstrumentsinChemicalIndustry 统计学习理论与支持向量机在过程控制中的应用 王华忠，俞金寿 (华东理工大学 自动化研究所，上海 200237) 摘要： 介绍统计学习理论与支持向量机的主要内容与研究现状，将支持向量机与过程控制中广泛应用的前 馈神经网络进行比较，指出其适用于过程控制的一些特性。着重提出统计学习理论与支持向量机在过程控制中 的一些应用途径和策略，并对未来的研究作了展望。 关键词： 统计学习理论；支持向量机；过程控制；前馈神经网络 中图分类号：TP273 文献标识码：A 文章编号：1000．3932(2004)(05)-0001-06 1 引 言 数 目的样本都有函数能将它们打散，则函数集的VC 2O世纪60年代 以来，Vapnik等人系统地研究 维是无穷大。有界实函数的VC维可以通过用一定 了机器学习问题，特别是有限样本情况下的统计学 的阈值将它转化成指示函数来定义。VC维反映了 习问题 。。到20世纪70年代，他们建立了统计学 函数集的学习能力，VC维越大则学习机器越复杂 习理论的基本体系。统计学习理论的核心问题是寻 (容量越大)。但是，目前尚没有通用的关于任意函 找一种归纳原则以实现最小化风险泛函，从而实现 数集VC维计算的理论，只对一些特殊的函数集知 最佳的推广能力。在随后的几十年里，Vapnik等人 道其VC维。 一 直潜心研究基于该理论的学习方法，终于在90年 2．1．2 推广性的界 代提出了支持向量机 (SVMs)这一新的通用机器学 统计学习理论系统地研究了对于各种类型的函 习方法 “。实际上，在某种程度上，正是 由于 数集、经验风险和实际风险之间的关系，即推广性的 SVMs方法所表现的优异性能，才促使人们重新审视 界，对于两类分类问题，根据统计学习理论，对指示 统计学习理论。 函数集中的所有函数 (包括使经验风险最小的函 2 统计学习理论与SVMs的主要 内容 数)，经验风险 。。(∞)和实际风险R(∞)之间以至 2．1 统计学习理论 少 1一 的概率满足以下关系 工 ]： R()≤R。呷()+^h(1n(2n／h)+1)-ln(,q／4) 统计学习理论就是研究小样本统计估计和预测 ． (1) ” ’ 的理论，主要内容包括四个方面 工 ：①经验风险最 式中：h——函数集的VC维；n——样本数。 小化准则下统计学习一致性的条件；②在这些条件 这一结论从理论上说明了学习机器的实际风险 下关于统计学习方法推广性的界的结论；③在这些 由两部分组成：一是经验风险(训练误差)；另一部 界的基础上建立的小样本归纳推理准则；④实现新 分称作置信范围，它和学习机器的VC维及训练样 的准则的实际方法(算法)。