适用于非确定分类问题的支持向量机方法.pdf

适用于非确定分类问题的支持向量机方法 吴高巍，陶卿，王珏 中科院自动化所复杂系统与智能科学实验室，北京100080 摘要：在支持向量机(SVM)中，训练样本总是具有明确的类别信息，而对于一些不确定 性问题，这并不恰当。受贝叶斯决策规则的启发，我们考虑利用样本的后验概率来表示这种 不确定性。本文将贝叶斯决策规则与SVM相结合，提出后验概率支持向量机方法。人造实 例及真实数据摩的实验也证明了后验概率支持向量机的合理性、有效性。 关键词：支持向量机；分类；后验概率：边缘：最大边缘算法：非确定性分类问题。 Posterior Probability Support Vector Machines Gaowei Wu，Qing Tao，Jue Wang Institute ofAutomation，ChineseAcademy ofSciences，Beijing，t00080 Abstract：The aim ofthis paper is to solve uncertain classification problem，we try to train∞ SVM(support vector machine)to behave like a Bayesian optimal classifier based on the training data．Our idea is to weigh each unbalanced training sample by a posterior probability． A whole framework of posterior probabil时support ve：ctor machine(PPSVM)is presented and SVM is reformulated into PPSVM．Some examples illustrate that our PPSVM formulation is reasonable and avail曲le Key Words：Support Vector Machines；Classification；Posterior Probability；Margin； Maximal Margin Algorithm；Uncertain Classification Problem． 1引言 SVM是一个强有力的机器学习方法，受启于统计学习理论(StatisticalLearningTheory) 【1，2】。利用边缘的概念，SVM的几何解释是非常清楚的。给定训练样本集 (xI，Y1)，(x2，Y2)，．．．，(xj，Y，)ER”×一Y={-I，+I} (1) SVM只要求样本独立同分布．不需要任何分布信息，所有样本被平等的对待。然而在实际 应用中，由于例#b(Outli啪的存在，以及噪声的污染，每个样本对划分的影响应该是不同的。 特别是对于一些不确定性问题，样本是不能明确地归为这一类或那一类，只能以一定概率或 一定隶属度属于某一类。因而用弘∈{十I，·I}表示类别信息．可能并不恰当。那么如何表示样 本的这种不确定性，使SVM适应于这些问题．是我们首先要考虑的。受贝叶新决策理论的 启发。我们希望利用后验概率来表示样本的类别信息。 贝叶斯决策理论在传统模式识别领域中扮演了十分重要的角色，是统计模式识别的一个 基本方法。基于后验概率的贝叶斯决策理论能够保证期望风险达到最小值【3】。但是，应用 贝叶斯决策理论必须要求各类剐总体的概率分布是已知的．而这需要很强的先验知识，在一 般的学习问题中通常是难以满足的。在实际应用中，不得不从有效数据中估计概率密度。然 而很明显地．在已知概率密度的条件下。我们能够解决任何统计问题。按照V．N．Vapnik的 观点[2】，“如果你只有有限的信息去解决某一个I．-1题，应该直接去求解这个问题，永远不要 将求解一更普遍的问题作为中间步骤。这有限的信息可能对问题直接求解是足够的，但对解 决更普遍的问题(中间过程)是不够的。”那么在处理一些特定问题时——例如给定训练样 本的分类问题，我们应尽量避免对概率密度进行估计。所以对于一般的分类问题，直接采用 贝叶斯决策规则也是不恰当的。 因此，我们考虑将$VM与贝叶斯决策理论相结合．既能够利用后验概率来表示样本对 分类器贡献的差异，以及样本类别信息的不确定性；同时也避免了对密度函数的估计。本文 用后验概率队每一个样本进行加权，使样本的类别标签不再是+l或一1，标签．p(xl{娼)E[o，11。 从而，我们可以将其称为非确定性分类闻题。 关于非确定性分类问题，Platl提出了一种SVM方法【4】。【4】中仅仅考虑了输出的不确 定性，不用阐值函数(Sign函数)。而采用一种连续函数(Sigmoi