模式识别线性判别函数.pptVIP

5.2 Fisher 线性判别 第三十页，共八十二页，2022年，8月28日 5.2 Fisher 线性判别 要找一个最好的投影方向b，使下面的准则函数达到最大值。 第三十一页，共八十二页，2022年，8月28日 5.2 Fisher 线性判别 其中： 而 投影后的 投影前的 第三十二页，共八十二页，2022年，8月28日 5.2 Fisher 线性判别 由求JF的极值问题，最后得到 和贝叶斯最小错误率决策的b只差一个常数，方向相同。 投影到一维后的两类分界点，可以用一维分类时的一些办法作。 当k1=k2=k时， 第三十三页，共八十二页，2022年，8月28日 第五章 线性判别函数（分类器，参数分类器） 5.1 引言 5.2 Fisher 线性判别 5.3 感知准则函数（Perceptron） 5.4 最小平方误差准则函数 5.5 多层感知的学习算法 —误差反向传播算法 第三十四页，共八十二页，2022年，8月28日 5.3 感知准则函数（Perceptron） 一．几个基本概念 1．线性可分性 对一组样本y1, …, yN（增广表示），假定来自两类，若存在一个权向量a，使得当 时，有 时，有 则称这组样本是线性可分的。 第三十五页，共八十二页，2022年，8月28日 5.3 感知准则函数（Perceptron） 若样本是线性可分的，则总存在权向量a能把每个样本正确分类。即使得 2．样本的规范化 ，对 ，对 对第二类的样本，若在yj前加一负号 yj’=-yj，则 aTyi’0 。 第三十六页，共八十二页，2022年，8月28日 5.3 感知准则函数（Perceptron） 即若令 ，当 ，当 这时问题就化为找一个a，使对所有的yn，有aTyn0。 上述的处理称为规范化。 称为规范化的增广样本。 以后为书写方便，仍用y来表示规范化的增广样本。（可根据上下文定 ） 第三十七页，共八十二页，2022年，8月28日 5.3 感知准则函数（Perceptron） 3．解向量和解区 在线性可分的情况下，满足aTyi0，i=1, 2, …, N的a称为权向量，记为a*。 方程aTyi=0中的a和yi的作用是对偶的。 一个权向量a是权空间中的一个点。每个样本yi对a的可能位置都起到限制作用。即要满足aTyi0。对所有样本满足aTyi0的a即为一个解。 第三十八页，共八十二页，2022年，8月28日 5.3 感知准则函数（Perceptron） 方程aTyi=0确定了权空间中过原点的一个超平面Hi，它的法向量是yi。解应在Hi的正侧（因为要求aTyi0） 正半空间。 N个样本确定了权空间中的N个平面，每个平面把权空间分成了三部分，正侧、负侧和平面本身。 第三十九页，共八十二页，2022年，8月28日 5.3 感知准则函数（Perception） 所以，如果解存在，则必定在N个超平面的正半空间的相交区。这个区域称为解区。区域中的每个向量都是解向量a*。 解和解区的两维示意图如下： 第四十页，共八十二页，2022年，8月28日 5.3 感知准则函数（Perceptron） 第四十一页，共八十二页，2022年，8月28日 为使所得的a*对新的样本也能正确分类，a*最好位于解区的中央。 为提高泛化能力，使解更可靠，引入余量b0，寻找满足aTyi=b, i=1, 2, …, N的解区。 显然，满足aTyi=b0的解区位于原aTyi0的解区之内，且离原解区边界的距离为 5.3 感知准则函数（Perceptron） 4．对解区的限制 。 第四十二页，共八十二页，2022年，8月28日 5.3 感知准则函数（Perceptron） 。 二．感知准则函数及其梯度下降算法 设有一组样本y1, …, yN（规范的增广样本向量）。目的是求一a*，使得a*Tyi0, i=1, 2, …, N。 第四十三页，共八十二页，2022年，8月28日 5.3 感知准则函数（Perceptron） 。 构造一个准则函数， Ye ：被a所错分的样本集合。 即aTy=0的（错分）。 此时 -aTy=0。 ∴ 第四十四页，共八十二页，2022年，8月28日 5.3 感知准则函数（Perceptron） 。 ∴ 只有当Ye为空集时，不存在错分样本，才有 这