基于支持向量机的系统辨识及应用研究.pdfVIP

《冶金自动化》2006年增刊(s1) 基于支持向量机的系统辨识及应用研究 李升娟，杨宗尧，于飞，刘喜梅 (1．青岛科技大学自动化与电子工程学院，山东青岛266,042) f摘要】支持向量机(删)是一种基于结构风险最小化原理的机器学习技术，也是一种新的具有很好泛化性能 的回归方法。本文研究了利用支持向量机进行系统辨识的新方法，并进行了仿真实验，结果验证了所提出的方 法的正确性和有效性。 [关键词】支持向最机；统计学习理论；线性系统辨识；回归估计 O引言 得到和控制模型泛化误差的上界，并且独立于训 N 支持向量机(sVM)是由VVapnik及同事挺练集和测试集的分布。 出的以统计学习理论为基础的一种新型数据驱动 1支持向量机回归(SVMR)原理【2-3】 的学习机．它基于VC维理论和结构风险最小化原 1．1回归问题 理，把几项技术有机地结合在～起，如统计学、机 回归问题是要估计一个未知函数f(缸，”)的 器学习、神经网络、优化技术等…。SVM可以基于 参数向量口=[口t，如，…，日。]7，估计的依据是已知 有限样本训练就能获得良好的泛化能力，并且是 的观测数据Yl： 一种通用学习机，最初用于模式识别，后来也被用 Yl=“Xi，口)+ei，i=1，2，…，N。 (1) 于回归估计算子逆问题等越来越多的领域。SVM 式中，以为输入数据；q为误差，Ⅳ为数据个数。 概念简单清晰，理论基础扎实，技术系统实用。具 数据对(毛，^)称为训练数据集，也就是输入一输 有下述优点，即需要调整的参数少；估计未知参数 出数据集。令函数 时足一个凸目标函数的优化问题，可以用标准的 Ⅳ 二次型规划问题来解决，计算速度快且不存在局 ，(≈，m)2蚤畔髟(畸，z)+6 (2) 部极小；模型结构由样本集中最能提供信息的子 式巾，叶为权系数，6∈R为阈值，置(暂，z)是用来 计算特征空间点积的核函数。 样本集——支持向量来决定，通过改变支持向量 引入一个新型的损失函数如下： 的数目就可以很容易地连续改变模型结构；可以 地肌训=o他㈠}-c巍m洲¨酗厶(扎，“铂∞))2iI竹一“孙。)l—e妥缸。”’、 (3)(3) 式中，￡为不敏感参数，它控制不敏感区域的宽度， A，i=I，2，…，N，使 篡蒸戮裟失燃谓的aViff弘i…棚嘶一… 葺一7…置…。。” e不敏感损失函数或称之为 损失函数。 kinp一删；加壹+删 支持向量机回归问题可表述如下：寻找参数 (6) 专。．蕃．(哪一晟)(q一岛)黄(≈，耳) 向量使得经验风险函数取最小值 取最大值，并且满足约束条件： 1Ⅳ R岬(山)=专墨k(儿，“孙埘)) (4) Ⅳ Ⅳ 墨口i=互晟，o≤口i，晟≤c，f=1，2，…，Ⅳ(7) 并满足约束条件(m·m)≤c (5) 其中，训练数据对(缸，Yi)，f=1，2，…，Ⅳ，核函数 式中，