线性判别函数法.ppt

线性分类器设计步骤 线性分类器设计任务：给定样本集K，确定线性判别函数g(x)=wTx的各项系数w。步骤： 抽取类别标志明确的样本集合 K={x1,x2,…,xN}作为训练样本集。 确定一准则函数J(K,w)，其值反映分类器的性能，其极值解对应于“最好”决策。 用最优化技术求准则函数J的极值解w*，从而确定判别函数，完成分类器设计。 2.7 Fisher线性判别 线性判别函数y=g(x)=wTx: 样本向量x各分量的线性加权 样本向量x与权向量w的向量点积 如果|| w ||=1，则视作向量x在向量w上的投影 Fisher准则的基本原理：找到一个最合适的投影方向，使两类样本在该方向上投影之间的距离尽可能远，而每一类样本的投影尽可能紧凑，从而使分类效果为最佳。 Fisher线性判别图例 d维空间样本分布的描述量 各类样本均值向量mi 一维Y空间样本分布的描述量 各类样本均值 Fisher准则函数定义的原则为，希望投影后，在一维空间中样本类别区分清晰，即两类距离越大越好，也就是类间离散度越大越好；各类样本内部密集，即类内离散度越小越好，根据上述准则，构造Fisher准则函数。 样本与其投影统计量间的关系 类内离散度 Fisher准则函数 评价投影方向w的原则，使原样本向量在该方向上的投影能兼顾类间分布尽可能分开，类内尽可能密集的要求 Fisher准则函数的定义： Fisher最佳投影