基于模糊训练数据的支持向量机与模糊线性回归-机器学习研究中心.ppt

近期科研汇报 报告人： 纪爱兵 汇报内容： 第一部分：基于模糊训练数据的支持向量机与模糊线性回归 第二部分：基于模糊Choquet积分的非线性模糊回归 1.问题提出 支持向量机（SVM）（Support Vector Machine）是Vapnik等人根据统计学习理论提出的一种新的通用学习方法，支持向量机分为分类型支持向量机和回归型支持向量机，在分类型支持向量机中，训练样本的输入是实数值向量，输出是类别，用表示 。 1.问题提出 考虑到训练样本集中的噪音，Chun-fu Lin[4]引入了一种模糊支持向量机，其训练样本的输入仍是实数值向量，输出是带有隶属度的类别，他用一个隶属度来表示一个训练样本隶属于正类或负类的程度，但本质上来说，它还是Vapnik 意义上的普通支持向量机。 1.问题提出 事实上，由于噪音和测量的误差，训练样本数据常常是不确定的或是模糊的，对于训练数据是模糊数据的情况迄今尚无人研究，因此研究基于模糊训练数据的支持向量机非常有意义。 在本文中，我们将首次引入训练数据是模糊数的分类型支持向量机的理论，主要包括模糊线性可分和模糊近似线性可分的概念以及基于模糊训练样本的支持向量机的数学模型，并给出它的求解方法。 1.问题提出 而普通的支持向量机是它的一个特殊情况。然后将此方法应用于冠心病的鉴别诊断。最后，我们应用基于模糊训练数据的支持向量机理论来研究模糊线性回归问题，给出了模糊输入、模糊输出的模糊线性回归问题的一种新的解法。 2.准备知识 这里主要给出两分类型支持向量机的有关知识，对于训练样本集： 分别表示正类和负类。如果存在(w,b)使得 （1） 则称训练样本是线性可分的。（1）式可以简化为 （2） 分类的决策规则为： 2.准备知识 为了使得决策规则具有好的推广能力，我们应使分类间隔最大，以上机器学习的问题可转化为一个凸二次规划问题： 此问题有全局最优解，它的对偶问题为： 2.准备知识 Maximize s.t. 当样本不是线性可分时，我们可以通过一个映射将数据映射到一个高维特征空间H，并在高维特征空间上构造分类超平面。 2.准备知识 记 称 为核函数 考虑到一些样本可能被错分，我们引进松弛变量 。则此问题可转化 这里 C为惩罚参数，它可以平衡最大间隔和错分样本。 以上二次规划 的对偶问题为： 2.准备知识 Maximize s.t. (8) 此时的决策函数为： 3 模糊数和可能性测度 定义3.1 设 X为非空集，P(X) 为X的幂集, 映射Pos: P(X) [0,1], 如果满足： (1) Pos( )=0 (2) Pos(X)=1 (3) Pos( )= Pos( ) 则称Pos为可能性测度。 定义3.2 设 为模糊数，它的隶属函数为： 3 模糊数和可能性测度 (其中 为实数)，则称 为三角形模糊数，记为 ( )。 定义 3.3 设 为模糊数,模糊事件的可能性测度定义为： 特殊地, 当b 为实数时，模糊事件的可能性测度为： 。 类似地, 。 3 模糊数和可能性测度 如果 均为模糊数，则称 为n维模糊数向量，以 表示n维模糊数向量的全体。特别地，如果 均为三角形模糊数，则 称为n维三角形模糊数向量。以 表示n维三角形模糊数向量的全体。