判别函数（四）之感知器算法.pdf

判别函数 （四）之感知器算法 基本思想 采⽤感知器算法(Perception Appro ch)能通过对训练模式样本集的 “学习”得到判别函数的系数。这⾥采⽤的算法不需要对各类别中模式的统计性质做任何 假设，因此称为确定性的⽅法。 感知器的训练算法 ： 已知两个训练模式集分别属于ω1类和ω2类，权向量的初始值为w (1)，可任意取值。若 ，若 ，则在⽤全部 训练模式集进⾏迭代训练时，第k次的训练步骤为 ： - 若 且 ，则分类器对第k个模式xk做了错误分类，此时应校正权向量，使得w (k+1) = w (k) + Cxk，其中C为⼀个校正增量。 - 若 且 ，同样分类器分类错误，则权向量应校正如下 ：w (k+1) = w (k) - Cxk - 若以上情况不符合，则表明该模式样本在第k次中分类正确，因此权向量不变，即：w (k+1) = w (k) 若对 的模式样本乘以(- 1)，则有 ： 时，w (k+1) = w (k) + Cxk 此时，感知器算法可统⼀写成 ： 感知器算法实质上是⼀种赏罚过程对正确分类的模式则 “赏”，实际上是 “不罚”，即权向量不变。对错误分类的模式则 “罚”，使w (k)加上⼀个正⽐于xk的 分量。当⽤全部模式样本训练过⼀轮以后，只要有⼀个模式是判别错误的，则需要进⾏下⼀轮迭代，即⽤全部模式样本再训练⼀次。如此不断反复直到全部模式 样本进⾏训练都能得到正确的分类结果为⽌。 结合下⾯的例⼦体会⼀下 （感知器算法的收敛性，只要模式类别是线性可分的，就可以在有限的迭代步数⾥求出权向量。） ： T T T T 将属于ω 的训练样本乘以 （- 1），并写成增⼴向量的形式。x =(0 0 1) , x =(0 1 1) , x =(- 1 0 - 1) , x =(- 1 - 1 - 1) 2 ① ② ③ ④ 第⼀轮迭代 ：取C= 1，w(1)= (0 0 0)T T T T 因w (1)x①=(0 0 0)(0 0 1) =0 ≯0，故w(2)=w(1)+x①=(0 0 1) T T T 因w (2)x②=(0 0 1)(0 1 1) = 10，故w(3)=w(2)=(0 0 1) T T T 因w (3)x③=(0 0 1)(- 1 0 - 1) =- 1≯0，故w(4)=w(3)+x③=(- 1 0 0) T T T 因w (4)x④=(- 1 0 0)(- 1 - 1 - 1) = 10，故w(5)=w(4)=(- 1 0 0) 这⾥，第 1步和第3步为错误分类，应 “罚”。 因为只有对全部模式都能正确判别的权向量才是正确的解，因此需进⾏第⼆轮迭代。 第⼆轮迭代 ： T T T 因w (5)x①=(- 1 0 0)(0 0 1) =0 ≯0，故w(6)=w(5)+x①=(- 1 0 1) T T T 因w (6)x②=(- 1 0 1)(0 1 1) = 10，故w(7)=w(6)=(- 1 0 1) T T