《模式识别与机器学习》ch04 线性分类与回归模型.pptxVIP

线性分类与回归模型第四章模式识别与机器学习新工科建设·人工智能与智能科学系列教材 01引言 模式是取自客观世界中的一次抽样试验样本的被测量值的综合。如果试验对象和测量条件相同，那么所有测量值就都具有重复性，即在多次测量中它们的结果不变，这样的模式称为确定性模式。引言 否则，测量值是随机的，这样的模式称为随机性模式，简称随机模式。下面介绍确定性模式的分类方法。前几章中讨论的分类器设计方法在已知类条件概率密度P（x|ωi）和先验概率P（ωi）的条件下，使用贝叶斯定理求出后验概率P（ωi|x），并根据后验概率的大小进行分类决策。引言 在解决实际问题时，类条件概率密度P（x|ωi）很难求出，用非参数估计方法又需要大量的样本。实际上，我们可以不求P（x|ωi），而用样本集直接设计分类器，即首先给定某个判别函数类，然后利用样本集确定判别函数中的未知参数。引言 针对不同的要求，由这种方法设计的分类器应该尽可能地满足这些要求，“尽可能好”的结果则对应于判别规则函数取最优值。前面介绍的贝叶斯分类器是使错误率或风险达到最小的分类器，常称这种分类器为最优分类器。引言 相对而言，在其他规则函数下得到的分类器就是“次优”的。采用线性判别函数产生的错误率或风险虽然要比贝叶斯分类器的大，但是线性判别简单、易实现，且需要的计算量和存储量小，所以线性判别函数是统计模式识别的基本方法之一，也是实际中最常用的方法之一。引言 02线性判别函数和决策面 两类情况在两类情况下，只使用一个判别函数：g（x）=g1（x）-g2（x）判别规则如下：线性判别函数和决策面 二维样本的两类分布如图4.1所示。线性判别函数和决策面 一般来说，g（x）=0称为决策面方程。在三维空间中，它是区分界面；在二维空间中，它退化成区分界线；在一维空间中，它退化成区分点。由判别函数g（x）的数学表达式可以看出，既有线性判别函数，又有非线性判别函数。然而，非线性判别函数一般都可变换为线性判别函数（又称广义线性判别函数）。线性判别函数和决策面 多类问题中的线性判别函数假设有c个类ω1，ω2，…，ωc，其中c≥3。将所有类分开的技术有三种，分别适用于三种不同的情况。线性判别函数和决策面 第一种情况第二种情况通过唯一一个线性判别函数，将属于i类的模式与其余不属于i类的模式分开。对c个类中的任意两个类ωi和ωj建立一个判别函数gij（x），决策面方程gij（x）=0可将这两个类分开，但对其他类则不提供任何信息。线性判别函数和决策面 第三种情况观察图4.4所示的五类问题。线性判别函数和决策面 设计线性分类器的主要步骤前面讨论了线性判别函数，并且假设样本是线性可分的。一般来说，当属于两个类的抽样试验样本在特征空间中可被一个超平面区分时，这两个类就是线性可分的。线性判别函数和决策面 进一步推论，对于一个已知容量为N的样本集，若有一个线性分类器可将每个样本正确地分类，则称这组样本集是线性可分的。在实际问题中，怎样判别样本集的线性可分性呢？线性判别函数和决策面 如果容量为N的样本集中的每个模式是d维向量，那么首先将N个样本画到d维空间中，然后向低维空间投影就可观察其线性可分性。事后，可以根据分类情况评价样本的线性可分性。线性判别函数和决策面 03广义线性判别函数 前面介绍了线性判别函数的理论和分类方法，它们的优点是简单且可行。然而，实际应用中却常常遇到非线性判别函数，如果可将非线性函数变换为线性判别函数，那么线性判别函数的理论和分类方法的应用会更加广泛。广义线性判别函数 例如，有一个非线性判别函数g（x），如图4.7所示。广义线性判别函数 在y的特征空间中，区分直线为y1（a+b）y2+ab=0，如图4.8所示。广义线性判别函数 04最小均方误差判别 最小均方和准则假设有n个训练样本，则wTx=b可以写成n个联立方程组的形式：式中，bi0，i=1，2，…，n。上述方程组可以简写为xw=b最小均方误差判别 式中，x为训练样本的增广矩阵：最小均方误差判别 至此，我们就建立了最小均方误差（Least MeanSquare Error，LMSE）算法，该算法也称H-K算法，主要内容为最小均方误差判别 H-K算法①由训练样本集构成增广矩阵x，求伪逆x#=（xTx）-1xT。②赋初值b（1），使其各分量为正值。选择常数c，置k=1。最小均方误差判别 ③计算w（k）=x#b（k），ek=xw（k）-b（k）。④判断：若ek的各分量停止变为正值或者不全部为0，则线性不可分，终止迭代。否则，若ek的各分量均接近0，即ek→0，则迭代过程完成，结束。否则，算法继续。最小均方误差判别 ⑤计算w（k+1）=w（k）+cx#（ek+|ek|）=w（k）+cx#|ek|， b（k+1）=b（k）+c（ek+|ek|）。令k=k+1，返回步骤③