基于模糊系数规划的模糊支持向量分类机.doc

基于模糊系数规划的模糊支持向量分类机* 杨志民1，田英杰2 1.浙江工业大学之江学院，杭州310024 2.中国科学院数据技术与知识经济研究中心，北京100080 摘要：本文研究模糊支持向量分类机的构建问题.其特点是：训练点输出的类型和最终的模糊分类函数的函数值均为反映其模糊类别的实数.首先，以模糊系数规划为基础，将模糊分类问题转化为求解模糊系数规划问题.求出模糊系数规划的最优规划，据此给出模糊支持向量分类机（算法）.同时用两个例子说明了该算法的合理性.最后，给出模糊支持向量分类机中最佳阈值的确定方法. 关键词：机器学习；模糊支持向量分类机；模糊系数规划；三角模糊数 1.引 言 支持向量机是Vapnik等人提出的一类新型机器学习方法（参见[1]，[2]，[3]，[4]，[9]）.由于其出色的学习性能，该技术已成为机器学习界的研究热点，并在很多领域得到了成功的应用.但是，作为一种尚未成熟的新技术，有待于进一步完善.例如：用它来处理带有模糊信息的问题，此时训练集中训练点的输出含有模糊隶属度. 2002年Lin C F and Wang S D在[6]中提出了FSVM方法. 他们只是对支持向量分类机（算法）中二次规划的惩罚参数添加了模糊隶属度，没有从算法的数学本质上建立模糊支持向量分类机. 最终得到的分类函数的函数值（测试点的输出）还是确定值1或-1（正类或负类）. 2004年和2005年Tao Q and Wang J和KiYoung Lee等人分别建立了NFSVM和PSVM（见[7]和[8]）.在NFSVM中作者用fuzzy membership和fuzzy margin 反映训练点的模糊信息，从而将模糊分类问题转化为求解二次规划问题；在PSVM中作者用possibilistic membership和possibilistic distance表示训练点中的模糊信息，从而将模糊分类问题转化为求解二次规划问题. 但是他们最终得到的分类函数值（测试点的输出）还是确定值1或-1（正类或负类）. 在本文，我们研究训练点中含有完整模糊信息（即训练点的输入为正类与负类的隶属度之和为1）的模糊分类问题.本文的算法中，训练点的输出为三角模糊数.建立的模糊最优分类函数，其函数值也为三角模糊数.本文算法与以上三种算法的相同点为：都是利用最优化方法解决训练点中含有模糊信息的模糊分类问题. 而区别在于：本文算法是以模糊优化方法为工具处理训练点中含有模糊信息的模糊分类问题，使得训练点中的模糊信息自然反映在模糊规划中，得出的模糊最优分类函数仍含有模糊性. 即任给一测试点输入，代入模糊最优分类函数中，得到的输出为三角模糊数，从而使测试点与训练点形式匹配，逻辑一致；而其他三种方法是以普通优化方法为工具处理训练点中含有模糊信息的模糊分类问题.因此最终得到的分类函数为确定函数（不含有模糊性），从而使得测试点的输出为确定的正类或负类，与训练点的输出（模糊隶属度）形式不匹配. 这样，在利用训练点作为测试点做误差进行参数选择时，容易出现问题. 2.模糊支持向量分类机 在模糊分类中，样本点的输出是以隶属度形式给出的，即：样本点的输入为正类或负类的 国家自然科学基金资助项目（编；浙江省自然科学基金资助项目（编号Y606082） 作者简介: 杨志民(1957－),男,河北邯郸市人,博士,教授,研究方向：支持向量机，不确定信息处理；田英杰（1973—），男，山东菏泽人，博士，副研究员，研究方向：数据挖掘，支持向量机. 隶属度是或（）.但为了表示方便，我们引进下列对应关系 （1） 其中.这样我们可用表示样本点的输入和它对应的输出.因此训练集为如下形式： ， （2） 其中，如（1）中所示，. 为研究问题需要，我们给出如下转换规则，将（2）中的转换为特殊的三角模糊数： （3） 因此按转换规则（3）式，训练集（2）式可表示为： ， （4） 其中与（2）式中相同，而为形如（3）式的三角模糊数，. 定义1.（2）式中的和（4）式中的称为模糊训练点，.而和称为模糊训练集. 定义2. 在（2）式和（3）式中，若，则称其对应的模糊训练点为模糊正类点；若，则称其对应的模糊训练点为模糊负类点. 注：1为简单起见，在此我们忽略或的情形，因为此时对应的三角模糊数不提供正负类信息. 2在模糊训练集（2）式和（4）式中，将模糊正类点输出看作1，将模糊负类点输出看作-1，得到普通训练集.若线性可分，则模糊训练集和线性可分. 为了下面研究方便，我们将模糊训练集（2）式和（4）式中的模糊训练点重新排序，即将模糊正类点排在前面，