《模式识别-黄庆明》第三章.pptVIP

3.9 势函数法 — 一种确定性的非线性分类方法 3.9.2 势函数的选择 讨论 用第二类势函数，当训练样本维数和数目都较高时，需要计算和存储的指数项较多。 正因为势函数由许多新项组成，因此有很强的分类能力。 作业（1） 用二次埃尔米特多项式的势函数算法求解以下模式的分类问题 ω1: 0 1 T, 0 -1 T ω2: 1 0 T, -1 0 T 作业（2） 用下列势函数 求解以下模式的分类问题 ω1: 0 1 T, 0 -1 T ω2: 1 0 T, -1 0 T 3.10 决策树简介 决策树，或称多级分类器，是模式识别中进行分类的一种有效方法，对于多类或多峰分布问题，这种方法尤为方便。 利用树分类器可以把一个复杂的多类别分类问题，转化为若干个简单的分类问题来解决。 它不是企图用一种算法、一个决策规则去把多个类别一次分开，而是采用分级的形式，使分类问题逐步得到解决。 3.10 决策树简介 决策树示意图 3.10 决策树简介 一般来讲，一个决策树由一个根节点n1，一组非终止节点ni和一些终止节点tj组成，可对tj标以各种类别标签，有时不同的终止节点上可以出现相同的类别标签。 如果用T表示决策树，则一个决策树T对应于特征空间的一种划分，它把特征空间分成若干个区域，在每个区域中，某类的样本占优势，因此可以标出该类样本的类别标签。 3.10 决策树简介 决策树的一种简单形式是二叉树，它是指除叶结点外，树的每个节点仅分为两个分支，即每个非终止节点ni都有且仅有两个子节点nil和nir。 二叉树结构分类器可以把一个复杂的多类别分类问题转化为多级多个两类问题来解决，在每个非终止节点ni都把样本集分成左右两个子集。 3.10 决策树简介 分成的每一部分仍然可能包含多个类别的样本，可以把每一部分再分成两个子集，如此下去，直至分成的每一部分只包含同一类别的样本，或某一类样本占优势为止。 二叉树结构分类器概念简单、直观、便于解释，而且在各个节点上可以选择不同的特征和采用不同的决策规则，因此设计方法灵活多样，便于利用先验知识来获得一个较好的分类器。 3.10 决策树简介 一个二叉决策树的例子 3.10 决策树简介 一个二叉决策树的例子 在此例中，每个节点只选择一个特征，并给出相应的决策阈值。 对于一个未知样本x，只要从根节点到叶结点，顺序把x的某个特征观测值与相应的阈值相比较，就可做出决策，把x分到相应的分支，最后分到合适的类别中去。 3.10 决策树简介 在设计一个决策树时，主要应解决以下几个问题： 选择一个合适的树结构，即合理安排树的节点和分支； 确定在每个非终止节点上要使用的特征； 在每个非终止节点上选择合适的决策规则。 上述三个问题解决了，决策树的设计也就完成了。二叉树的设计也不例外。 3.10 决策树简介 把一个多类别分类问题转化为两类问题的形式是多种多样的，因此，对应的二叉树的结构也是各不相同的。通常的目的是要找一个最优的决策树。 一个性能良好的决策树结构应该具有小的错误率和低的决策代价。 但是由于很难把错误率的解析表达式和树的结构联系起来，而且在每个节点上所采用的决策规则也仅仅是在该节点上所采用的特征观测值的函数，因此，即使每个节点上的性能都达到最优，也不能说整个决策树的性能达到最优。 3.10 决策树简介 在实际问题中，人们往往提出其它一些优化准则，例如极小化整个树的节点数目，或从根节点到叶结点的最大路经长度，或从根节点到叶结点的平均路经长度等，然后采用动态规划的方法，力争设计出能满足某种准则的“最优”决策树。 * 半正定矩阵：特征值都不小于零的实对称矩阵 非奇异矩阵：矩阵的行列式不为零 3.5 Fisher线性判别 从d维空间到一维空间的一般数学变换方法 假设有一集合Г包含N个d维样本x1, x2, …, xN，其中N1个属于ω1类的样本记为子集Г1， N2个属于ω2类的样本记为子集Г2 。若对xn的分量做线性组合可得标量： yn wTxn, n 1,2,…,N 这样便得到N个一维样本yn组成的集合，并可分为两个子集Г1’和Г2’ 。 3.5 Fisher线性判别 从d维空间到一维空间的一般数学变换方法 实际上，w的值是无关紧要的，它仅是yn乘上一个比例因子，重要的是选择w的方向。w的方向不同，将使样本投影后的可分离程度不同，从而直接影响的分类效果。 因此，上述寻找最佳投影方向的问题，在数学上就是寻找最好的变换向量w*的问题。 3.5 Fisher线性判别 Fisher准则函数的定义 几个必要的基本参量 我们希望投影后，在一维Y空间中各类样本尽可能分得开些，即希望两类均值之差越大越好，同时希望各类样本内部尽量密集，即希望类内离散度越小越好。 Fisher准则函数定义