06 线性判别函数.pptVIP

模式识别 ——线性判别函数 mqy_mail@163.com 不知道样例的分布？ 假定知道判别函数的适当形式，使用样例去估算判别函数的参数。 一 线性判别函数和决策平面 线性判别函数的形式是： 1.两类问题 一个两类问题可以如下实现： 当g(x)0时，将x归类为ω1；当g(x)0时，将x归类为ω2。 例：如果特征向量x仅仅包含一个特征x1，那么上面的判别就变成了： 如果特征向量x仅仅包含两个特征x1和x2，那么上面的判别就变成了： 对于有多个输入的情况，判别函数可以看做是n维实例空间中的超平面判别器。 如果超平面上有两点xa和xb，那么： 任意一点x到超平面的距离是： 2. 多类问题 定义c个判别函数： 二 线性可分样例下的判别函数权值训练方法 如何确定线性判别函数的权值？一种方法是首先随机指定一个权值w，然后使用w作为权值的判别函数对现用的样例进行分类，根据分类结果的错误程度对权值进行更改。不断重复这个过程，比如第k+1步的权值w(k+1)如下由w(k)推来： 基本梯度下降训练算法 三 感知器算法 设一个判别函数的形式是：g(x)=wtx。在g(x)0的时候，x∈ω1， 在g(x)0的时候，x∈ω2。 对于第二种情况，两边乘以-1： 在g(x)0的时候，x∈ω2 = 在g(-x)0的时候，x∈ω2。 就是说，如果对于属于ω2的x，如果用负值替换它，那么这个判别函数就转化成了对所有的x，g(x)0。 在这种情况下，一个最基本的准则函数J(w)是感知器准则函数： 此时，基本梯度下降训练算法中的更新项变成了： 可见，如果学习速率足够小，并且样例是线性可分的，那么使用感知器作为准则函数是能够收敛的。 四 松弛算法 使用感知器函数Jp作为准则函数时，它的梯度是不连续的。这样造成它训练过程中可能存在大的跳变。 错误分类的样例个数 感知器函数 一个与感知器类似的准则函数是： 然而它的梯度过于连续了，以至于使得训练过程收敛到解区边界上。 如下改进这个准则函数： 它的梯度是： 五 最小平方误差(MSE,Minimum Squared Error)算法 感知器准则函数和松弛准则函数都使用被错误分类的样例作为训练过程的依据。这里介绍的准则函数使用所有样例。 前面求解wtx0，找到满足条件的w。现在我们可以指定一个大于0的数b，使得wtx=b。这样可以将求解不等式的问题转换为解等式的问题。 设样例是d维向量，样例的个数是n。令所有的样例组成一个矩阵X，其中第i行是第i个样例。令b是一个n维的列向量。那么可以写出下面的等式： 如果X是非奇异矩阵，那么可以令：w=X-1b，这样就直接求出了解。对于不可逆矩阵则不可行。 解法是：寻求一个w，使得Xw和b之间的误差最小。定义一个误差向量e： e=Xw-b 要做的就是寻找一个w，使得e最小。这等价于最小化下面的最小化误差平方和： 这个误差最小的点就是它的梯度等于0的点。 六 Widrow-Hoff或LMS算法(最小均方,least-mean-squared) 上面MSE方法中提到了准则函数： LMS算法看似和松弛算法类似。但是松弛算法是使用分类错误的样例进行训练；LMS是使用所有的样例训练。当样例不是线性可分的时候，松弛算法是不收敛的。 MSE算法和LMS算法无论在样例是否线性可分的时候都可以找到解。但是并不保证正确的分割位置： 其中X+叫做X的伪逆。它通常是存在的，尤其是如果将X+定义为如下形式： 可以使用梯度下降方法来使它最小化。 此时，基本梯度下降训练算法中的更新项变成了： * * 其中w叫做权值向量，w0叫做阈值权(threshold weight)或偏置(bias)。 其中x1=-w0/w1是一个点。 这时这个判别函数就变成了直线判别器x2=-(w0+w1x1)/w2。 说明wt与超平面上任意的向量都正交。 当x是原点的时候： 总结：线性判别函数对应着超平面。超平面的方向由法向量w决定，超平面的位置由w0决定。 对于所有的j!=i，如果gi(x)gj(x)，将x归类为i； 其中η是人指定的一个学习速录。 J(w) 是对分类结果的错误程度进行衡量的准则函数：当使用w作为权值的判别函数能够正确分类样例的时候，J(w)取得最小值。 J(w)相对于w的梯度就是J(w)上升最快的方向。因此这个公式就是每次修改都使权值沿着J(w)上升最快的方向减去一定的数量。 其中γ是使用w作为权值时，判别函数分类错误的样例集合。即wtx=0的样例集合。 下面求它相对于w的梯度： 下面图显示了每个错误样例使判别线移动的过程。 可见，它的梯度是连续的。 其中γ是使用w作为权值时，判别函数分类错误的样例集合。即wtx=b的样例集合。 此时，基本梯度下降训练算法中的更新项变