模式识别之多类问题.pdfVIP

4.5 多类问题 4.5.1 多类问题的基本概念 4.5.2 决策树算法 4.5.1 多类问题的基本概念 前面介绍的Fisher线性判别分析、感知器算法、 MSE 算法只能处理两类分类问题，但是多数实际 问题是多类分类问题，例如，数字识别问题就是 一个十类问题（识别出0-9 ） 美国邮政数字识别数据库(USPS) ：16X16 图 像 1 2 3 4 5 6 7 8 9 0 解决多类分类问题的最简单方法是将多类（c 类） 问题转化为多个两类问题来处理，常用的处 理手段有： (1) “一对多”方法 (2) “一对一”方法 (3) “逐步一对多”方法 (1) “一对多”方法 “一对多”方法设计c 个两类分类器，其中第i 个分类器将第i 类样本（正侧）与非第i 类样本 （负侧）分开，这样我们可以得到c 个判别函数。 线性判别函数的形式为 g (x) w T x w ,i 1,...,c i i i 0 说明：最理想的情况是只有一个判别函数为正、其 它判别函数都为负。但是实际情况往往会出现两个 或者两个以上的判别函数值为正，全为正或者全为 负 为了避免出现这样的情况，决策规则设计成 如果 g (x) max g (x) i j j 1,...,c 则 x  i 这样的分类器称之为线性机器 线性机器将特征空间分成c 个决策区域R , … , R 。 1 c 在第i 区域中，判别函数g (x) 取最大值 i 如果区域R 与R 相邻，它们的分界面就是超平 i j 面Hij 的一部分，超平面的方程为 g (x) g (x) i j