第4章 线性分类.pptVIP

线性分类器 电子科技大学 师 君 感知器 最小均方法 支持向量机 Fisher分类器 多类问题 线性分类器描述： 模型： 判决函数： 线性分类器 扩展权向量 注意，如果W为扩展解向量，则aW也为扩展解向量。 线性分类器描述： 结构： 神经网络—神经元模型； 贝叶斯分类器—高斯等协方差矩阵 线性分类器 扩展权向量 权系数更新方法： 感知器算法； 最小均方误差算法； 支持向量机算法； Fisher分类器； 线性分类器设计 感知器算法模型： 优化代价函数 感知器(Perceptron) 最速下降法迭代： 权系数更新公式： 感知器(Perceptron) … … 收敛性（一）： 梯度为零=错误集合为空集 由于线性可分集合间存在多个分类面，因此，收敛结果不唯一。 感知器(Perceptron) 收敛性（二）： 如果样本线性可分，则感知器可在有限步骤内搜索到分类面。 感知器(Perceptron) 感知器(Perceptron) 感知器(Perceptron) 感知器(Perceptron) 算法流程： 步骤1. 初始化训练样本、权向量 步骤2. 选择分类1的样本， 步骤3. 如果输出结果0，则：update = update + (-1) * x 步骤4. 选择分类2的样本 步骤5. 如果输出结果0，则：update = update + (1) * x 步骤6. W = W + coeff * update 步骤7. 重复步骤2-6，直到没有错误分类。 感知器(Perceptron) 感知器(Perceptron) close all clear all clc Obj1.NTrain = 100; Obj1.mean = 2.5 * [3; 5]; Obj1.SampTrain = randn(2, Obj1.NTrain) + kron(Obj1.mean, ones(1, Obj1.NTrain)); Obj1.NTest = 100; Obj1.SampTest = randn(2, Obj1.NTest) + kron(Obj1.mean, ones(1, Obj1.NTest)); Obj2.NTrain = 100; Obj2.mean = -0.0 * [3; 5]; Obj2.SampTrain = randn(2, Obj2.NTrain) + kron(Obj2.mean, ones(1, Obj2.NTrain)); Obj2.NTest = 100; Obj2.SampTest = randn(2, Obj2.NTest) + kron(Obj2.mean, ones(1, Obj2.NTest)); % Perceptron TestMatrix = zeros(2); cnt_c1 = 1; cnt_c2 = 1; % Trainning W = 10 * randn(3, 1); % W(3) = -1; coeff = 0.7; % W(1 : 2) = W(1 : 2) / norm(W(1 : 2)); tt = 1 : 1000; tt = (tt - 500) * 0.01; figure; plot(Obj1.SampTrain(1, :), Obj1.SampTrain(2, :), ro, linewidth, 2, markersize, 10) hold on; plot(Obj2.SampTrain(1, :), Obj2.SampTrain(2, :), bo, linewidth, 2, markersize, 10) WW = W; WW = WW / norm(WW); plot(tt * W(2), -1 * (WW(1) * tt + WW(3)), r, linewidth, 3) for jjj = 1 : 1000 Ecnt = 0; TMP_update = zeros(3, 1); for kkk = 1 : Obj1.NTrain TMP_Tr(1:2, 1) = Obj1.SampTrain(:, kkk); TMP_Tr(3, 1) = 1; yy = W. * TMP_Tr; if (yy = 0) TMP_update = TMP_update + (-1) * TMP_Tr; Ecnt = Ecnt + 1; end end for kkk = 1 : Obj2.NTrain TMP_Tr(1:2, 1) = Obj2.SampTrain