模式识别-线性分类1.pptVIP

Example: At some stage t the perceptron algorithm results in The corresponding hyperplane is * 王杰(博士/教授/博导)郑州大学电气工程学院 模式识别 Pattern Recognition Chapter 3(I) 王杰(博士/教授/博导)郑州大学电气工程学院 模式识别 Pattern Recognition Ch. 3 线性分类器 3.1 线性分类器(LINEAR CLASSIFIERS)-引言 Hence: 3.2 线性判别函数和决策超平面 The Problem: Consider a two class task with ω1, ω2 王杰(博士/教授/博导)郑州大学电气工程学院 模式识别 Pattern Recognition Ch. 3 线性分类器 Fig.3-1 Graph of Decision Line；One side satisfys g(x)0(+) and the other side g(x)0(-) 3.2 线性判别函数和决策超平面 (3-1) 王杰(博士/教授/博导)郑州大学电气工程学院 模式识别 Pattern Recognition Ch. 3 线性分类器 3.3 感知器算法(The Perceptron Algorithm) 我们关心计算未知参数ωi(i=1,2,…,l)以定义决策超平面。 Assume linearly separable classes, i.e., 上式也包含不经过原点的超平面的情况： 作变换： (3-2) 可以得到： (3-3) (3-4) 王杰(博士/教授/博导)郑州大学电气工程学院 模式识别 Pattern Recognition Ch. 3 线性分类器 3.3 感知器算法(The Perceptron Algorithm) Our goal: Compute a solution, i.e., a hyper plane (超平面 ) w,so that The steps Define a cost function to be minimized(定义代价函数并极小化) Choose an algorithm to minimize the cost function(寻找算法) The minimum corresponds to a solution(求得与之相应的解) The Cost Function 其中，Y 是被w 错误分类的向量的子集，当 Y=(empty set) 则获得了一个解并且 (3-5) (3-6) 王杰(博士/教授/博导)郑州大学电气工程学院 模式识别 Pattern Recognition Ch. 3 线性分类器 3.3 感知器算法(The Perceptron Algorithm) 如果在上式中定义： (3-7) 则有： 当代价函数取最小值0 时，则意味着所有的训练向量的分类都是正确的。 事实上，式(3-6)表示的代价函数是分段线性的，平滑改变权向量也导致 代价函数线性变化，直到分类向量个数改变代价函数会有非线性改变。 在这些点，其梯度没有意义。为计算代价函数的最小值，梯度下降法是一 个合理的方法，即： (3-8)、(3-9) (3-10)、(3-11) 这就是著名的感知器算法(Perceptron Algorithm) 王杰(博士/教授/博导)郑州大学电气工程学院 Fig.3-2 感知器算法的几何解释，在唯一错误分类点x，δx =-1 模式识别 Pattern Recognition Ch. 3 线性分类器 3.3 感知器算法(The Perceptron Algorithm) Perceptron 在x方向修正 权向量，其作用是修正超 平面，使x能够被正确分到 ω1类。修正的幅度和迭代 次数取决于修正系数，满 足分类的超平面不唯一，且 不是一般的梯度算法，因 而有必要证明其收敛性。 王杰(博士/教授/博导)郑州大学电气工程学院 模式识别 Pattern Recognition Ch. 3 线性分类器 3.3 感知器算法(The Perceptron Algorithm) 感知器算法的收敛性证明：由感知器算法 (3-12) 两边取欧式范数： (3-13) (3-14) (3-15) 王杰(博士/教授/博导)郑州大学电气工程学院 模式识别 Pattern Recognition Ch. 3 线性分类器 3.3 感知器算法(The Perceptron Algorithm) (3-15)