基于可信性理论的模糊支持向量分类机.docVIP

基于可信性理论的模糊支持向量分类机* 杨志民1，邓乃扬2 1.浙江工业大学之江学院，杭州310024 2.中国农业大学理学院，北京100083 摘要：本文研究模糊支持向量分类机的构建问题.其特点是：训练点输出的类型和最终的模糊分类函数的函数值均为三角模糊数.首先，以模糊事件的可信性测度为基础，将模糊分类问题转化为求解模糊机会约束规划问题.然后，利用模糊机会约束规划化为清晰等价规划的方法，将其转化为与其等价的二次规划.据此给出模糊支持向量分类机（算法）.同时用一个简单的算例说明了该算法的合理性. 关键词：机器学习；模糊支持向量分类机；可能性测度；三角模糊数 中图法分类号：TP13, O159 1.引 言 支持向量机是Vapnik等提出的一类新型机器学习方法[1-4]，由于其出色的学习性能，该技术已成为机器学习界的研究热点，并在很多领域得到了成功的应用；但是，作为一种尚未成熟的新技术，有待于进一步完善。例如：处理带有模糊信息[5,6]的问题时，训练集中训练点的输出含有模糊隶属度。 文献[7]中提出的FSVM方法只是对支持向量分类机（算法）中二次规划的惩罚参数添加了模糊隶属度，没有从算法的数学本质上建立模糊支持向量分类机，最终得到的分类函数的函数值（测试点的输出）还是确定值1或-1（正类或负类）。文献[8]和[9]分别建立了新模糊支持向量机（NFSVM）和加权支持向量机（PSVM），在NFSVM中用fuzzy membership和fuzzy margin 反映训练点的模糊信息，在PSVM中用possibilistic membership和possibilistic distance表示训练点中的模糊信息，从而将模糊分类问题转化为求解二次规划[10,11]问题； 但是最终得到的分类函数值（测试点的输出）还是确定值1或-1（正类或负类）。 在文献[]中我们利用可能性测度建立了模糊支持向量分类机（算法），在该算法中，训练点的输出为三角模糊数，建立的模糊最优分类函数，其函数值也为三角模糊数。即任给一测试点输入，代入模糊最优分类函数中，得到的输出为三角模糊数，从而使测试点与训练点形式匹配，逻辑一致，从而较好地训练点中含有模糊信息的模糊分类问题。但是在处理模糊信息时利用可能性测度作为理论基础有一定的缺陷，例如：可能性测度为1的模糊事件未必一定成立，因此利用可能性测度建立模糊支持向量分类机（算法），并且考虑极端情况时容易出现误差。在文献[]中作者提出了可信性测度，并且证明可信性测度可以精确地刻画模糊事件（可信性测度为1的模糊事件一定成立，而可信性测度为0的模糊事件一定不成立）。基于以上原因，本文在可信性测度的基础上，建立模糊支持向量分类机（算法）。 2.可信性测度 定义4.1 设为一个集合，为的幂集，映射 ：，若满足： ， ， ， 则称为事件的可能性测度，记作. 三元组称为可能性空间. 以后我们研究问题都是在给定的可能性空间进行. 2.模糊支持向量分类机 本文使用一种特定的三角模糊数作为正类或负类标志的“1”和“-1”的扩充.我们定义样本点的输入为正类的隶属度所对应的输出为三角模糊数 . （1） 而样本点的输入为负类的隶属度对应于三角模糊数为 . （2） 这样可以用表示样本点的输入和它对应的输出，其中为形如（1）式或（2）式的三 角模糊数.也可引进下列对应关系 （3） 用表示样本点的输入和它对应的输出. 基于上述三角模糊数，设分类问题的训练集为 ， （4） 其中为通常的输入，而为形如（1）式或（2）式的三角模糊数.另外依照转换规则（1）式、（2）式和（3）式，训练集（4）式也可表示成 ， （5） 其中与（2）式中相同， 如（3）式中所示，. 定义1.（4）式中的和（5）式中的称为模糊训练点，.而和称为模糊训练集. 定义2. 我们称（1）式所对应的模糊训练点为模糊正类点；（2）式所对应的模糊训练点为模糊负类点. 注：为简单起见，在此我们忽略或的情形，因为此时对应的三角模糊数不提供正负类信息. 为了下面研究方便，我们将模糊训练集（4）式或（5）式中的模糊训练点重新排序，即将模糊正类点排在前面，将模糊负类点排在后面，从而得到两个如下形式的模糊训练集： ， （6） 或 ， （7） 其中，为模糊正类点；，为模糊负类点. 定义3. 设模糊训练集如（6）式或（7）式所示，对于给定的置信水平（），若存在，使得： ， (8） 则称模糊训