第3章线性分类器.docVIP

第3章线性分类器 上一章介绍了基于概率的分类设计，所有类具有相同协方差矩阵的正态分布问题等价于一组线性判别函数。实际问题类条件概率密度估计比较困难，可以直接根据训练样本设计分类器。本章中假设问题是线性可分的。 3.2线性判别函数和决策超平面 考虑两类问题，在维空间决策面是一个超平面 (3.1) 其中是权向量，设是决策面上两点， (3.2) 即与决策面。 3.3感知算法 决策面有确定，对于给定问题关键是如何确定。即确定，满足 感知器代价函数定义为： Y是错误分类的向量集合， 显然 当Y是空集时，此时所有向量都正确分类。 采用梯度下降法迭代求最优： 是正实数（学习系数、学习率）。 图3.2给出了感知器算法的几何解释。可以证明量满足一定条件时算法收敛。 另一种感知器算法 前面算法是所有训练样本计算完成统一调一次权值，可以采用一个样本一调的方法 即正确分类不改变权向量，错误改变权向量。可以证明算法是收敛的。 感知器 当设计好后可以用来分类： 见图（3.3），模拟神经元的模型，称为感知器。 例3.1，设感知器算法得到x1+x2-0.5=0（图3.4）虚拟 除了(0.4 0.05)T和(-0.2 0.75)T外都已正确分类。 两样本都正确分类，实线 袋式算法 前面算法收敛条件是线性可分性。不满足将不收敛，而袋式算法可以收敛到理想解： P