第5节 及线性分类.pptxVIP

线性分类器; 感知器 最小均方法 支持向量机 Fisher分类器 多类问题;线性分类器： 神经网络—神经元模型； 贝叶斯分类器—高斯等协方差矩阵；;权系数更新方法： 感知器算法； 最小均方误差算法； 支持向量机算法；;感知器算法模型： 优化代价函数 ;最速下降法迭代： 权系数更新公式：;算法流程： 步骤1. 初始化训练样本、权向量 步骤2. 选择分类1的样本， 步骤3. 如果输出结果0，则：update = update + (-1) * x 步骤4. 选择分类2的样本 步骤5. 如果输出结果0，则：update = update + (1) * x 步骤6. W = W + coeff * update 步骤7. 重复步骤2-6，直到没有错误分类。 ;收敛性（一）： 梯度为零=错误集合为空集 由于线性可分集合间存在多个分类面，因此，收敛结果不唯一。 ;感知器(Perceptron);收敛性（二）： 如果样本线性可分，则感知器可在有限步骤内搜索到分类面。 ;感知器(Perceptron);感知器(Perceptron);感知器(Perceptron); 感知器 最小均方法 支持向量机 Fisher分类器 多类问题;从函数拟合（回归分析）的观点认识分类器设计： 分类函数的要求： 已知样本点xi，但是取值未知，可以灵活选择。 寻找一个函数，使得其到所有样本点的（最小均方）误差最小。;误差平方和法—批量学习（batch learning）实现： 写成矩阵形式： ;最值条件： ;算法流程： 步骤1. 初始化训练样本、权向量； 步骤2. 构造X矩阵和y向量； 步骤3. 计算XTX和XTy； 步骤4. 计算w向量； 存在问题： 需要获得所有样本后进行处理； 矩阵可逆，且需要计算逆矩阵。 ; ; ;最小均方误差准则： 极值条件： ;大数定理： ;正交原理（共轭梯度法）： 定义：误差为 根据极值条件，则有： ;在线学习（on-line learning）实现（LMS算法） 梯度迭代法： 利用单样本替代期望值，则有： LMS迭代公式为：;LMS算法的均值收敛性： 重写迭代公式为： 对其取期望： 属于线性迭代问题，分析可参考线性方程组求解的迭代法。 ;LMS算法的均值收敛性： 根据线性方程组迭代法原理有： 当迭代矩阵谱半径小于1，即： 上述迭代过程收敛，极限为： ;LMS算法的方差 方差公式： 平方展开，并利用正交性原理化简，近似得到：;LMS算法流程： 步骤1. 初始化训练样本、权向量； 步骤2. 选择一个训练样本，利用下列公式更新权向量： 步骤3. 重复所有样本；; ; ; 感知器 最小均方法 支持向量机 Fisher分类器 多类问题;最优化目标： 决策面位于两类之间，且到两类边界的距离相等且最大。 找到一个超平面，使得它能够尽可能多的将两类数据点正确的 分开，同时使分开的两类数据点距离分类面最远 ;点到面的距离公式： ;保证分类面到两类距离相等： ;保证分类面位于两类之间： 保证距离最大： ;最优化问题的数学描述： 属于约束最优化问题。 属于严格凸优化问题（二次最优化问题），解存在且唯一。;KKT转化： ;KKT转化： 权向量是x的线性组合； λ不等于0的x（支持向量）对w有贡献； 根据正交补条件， λ不等于0，可知： ;几何解释： 支持向量机等效于寻找训练样本围成的凸集最近点。 ;最优化求解——直接求解： ;支持向量机;最优化求解2——Wolfe对偶转化： 先求解λ，后计算w 代价函数与特征空间x的维度没有显式的关系。 ;支持向量机;支持向量???;思考; 感知器 最小均方法 支持向量机 Fisher分类器 多类问题;Fisher分类器;Fisher分类器;Fisher分类器; 感知器 最小均方法 支持向量机 Fisher分类器 多类问题;最小二乘法的多类推广 一对多（one-against-all） 将每一类与其他类进行划分 将x划分给分类函数最大的一类 可能存在多个分类函数大于0； 负训练样本总是远远大于正样本。;一对一（one-against-one） 两两样本训练，得到 个判决函数:;错误校正码技术 对于M类问题，构造L个判决函数，每个将M类分成两类，每个判决函数各不相同，判断与那组判决码最相似。 例如，4类，6个判决函数 某样本六个判决为: [0 0 0 0 1 1]，距离D最近，将其分到D类。;维数扩展法—Kesler’s Construction N类问题，构造N个判决函数，将样本分到判决函数最大类。;维数扩展法—Kesler’s Construction 例如，三类问题。 需找w，使得所有扩展样本都大于0，