第章智能技术在传感器系统中的应用补充内容.pptVIP

目 录; 第7章 智能技术在传感器系统中的应用 ——补充内容; 支持向量机SVM（Support Vector Machines），主要用于传感器的动态 建模、故障诊断、气体辨识和交叉灵敏度的消除等。 支持向量机通过定义不同的内积函数,可以实现多项式逼近、贝叶斯分 类器、径向基函数、多层感知器等学习算法的功能。 支持向量机与神经网络方法类似，相对于多元回归分析法，不需要建立 包括非目标参量在内的函数解析式，但均需由实验标定提供训练样本和检验 样本，对于k个非目标参量，需要提供k+1维的标定实验数据。 ;§7.3.1 基础知识 一、统计学习理论 基于数据的机器学习： 从观测数据出发，寻找研究对象的规律性，利用其规律性进行数学建模，并进而对未来的数据进行预测。 三种机器学习的实现方法： 经典的参数统计估计方法——传统统计学 缺点：要求研究的样本数目趋于无穷大，缺乏实用性。 经验非线性方法，如人工神经网络 两个方向：参数选择的优化算法；选择“最优”模型的统计测量方法。 基于统计学习理论的学习方法，如支持向量机和基于核的方法 专门研究小样本数据量情况下，机器学习规律性的理论。 统计学习理论研究的主要问题包括四个方面： ; 1）基于经验风险最小化原则下统计学习一致性的充要条件。 2）学习过程的收敛性及收敛速度。 3）学习过程中收敛速度（推广能力）的控制。 4）学习算法的构造 1、学习问题的一般性表示 学习：利用有限数量的观测数据来寻找待求的依赖关系。 最小化风险泛函： F（z）：空间z上的概率测度； α=[α1，α2，…]，α∈∧：参数集合； Q（z，α）：函数集合； z： z1， z2 ，… ， zl ，独立同分布数据。 ; 测试误差的期望风险： P（x，y）：未知概率分布，对应的 p 是其分布密度； y：与x相对应的实际值； f（x，α）：与x相对应的理论值； 一个观测数量有限的训练集上的被测平均误差率——经验风险： 期望风险与经验风险的关系描述： ; 上式成立的概率：1-η；0≤ η ≤1； h：非负整数，称为VC维，h越大，学习机器的复杂性越高； 上式右边称为“风险界”，第2项称为“VC置信范围”。 2、VC（Vapnik Chervonenkis）维 用于测量函数列的容量。 N（F，h）：h维向量中不同向量的个数。 3、结构风险最小化（Structural Risk Minimization，SRM） 定义了在对给定数据逼近的准确性与逼近函数的复杂性之间的一种折中。 ; 对于一定的（p，τk），函数集合满足下列不等式： 这种结构称为容许结构，结构风险最小化原则就是在容许结构的嵌套函数集Sk中寻找一个合适的子集S*，使结构风险达到最小，即： 4、建模误差 包括逼近误差和估计误差。 逼近误差因模型失配产生；估计误差因学习过程中选择了非优化模型所造成。这两个误差共同形成泛化误差。;结构风险最小化原理;二、支持向量机（Support Vector Machine） 基于统计学习理论的一种新的通用机器学习方法，基本思想： 通过用内积函数定义的非线性变换将输入空间变换到一个高维特征空间； 在高维空间用线性函数假设空间寻找输入与输出之间的非线性关系； 学习算法基于结构风险最小化原则。 1、支持向量机的优点： 专门针对有限样本，求得在现有信息条件下的最优解； 通过二次型寻优，解决了神经网络方法中无法避免的局部极值问题； 通过非线性变换，保证学习机器有较好的推广能力，并使算法复杂度与样本维数无关。 2、支持向量机的结构 αi ：拉格朗日乘子，i=1，2，…，s； b：阈值或偏移量； ：一个支持向量机的核函数；;支持向量机结构示意图; 支持向量机通过核函数将输入空间的数据映射到高维的特征空间，在特征空间F中，通过线性回归函数进行数据的分类或拟合。 3、支持向量机的核函数： 建立核函数的目标是使得特征空间的维数不再影响计算，或在特征空间不需要进行内积计算。 定义 为输入空间 X 到特征空间 F 的映射，若特征空间的内积与输入空间的核函数等价，即： 满足Mercer条件：; 则核函数就能表征为特征空间中的一个内积。 4、核函数的种类 SVM的核函数不同，则SVM输出表达式及输出结果就不同。