知识3第三章线性判别函数.pptVIP

第三章 线性判别函数 郝红卫 * 梯度下降算法 第三章 线性判别函数 郝红卫 * 感知准则函数最小化 定义感知准则函数 其中 是被a错分的样本集合。如果没有样本被错分，我们定义Jp(a)为0。 由于当atyi0时，即样本被a错分时Jp(a)是非负的，只有当a是解向量时才为0，故a*对应着Jp(a)的极值解。 第三章 线性判别函数 郝红卫 * 感知准则函数最小化 梯度 迭代公式 第三章 线性判别函数 郝红卫 * 感知准则函数最小化 批处理感知机算法 第三章 线性判别函数 郝红卫 * 感知准则函数最小化 固定增量单样本感知机算法 第三章 线性判别函数 郝红卫 * 感知准则函数最小化 感知机算法收敛定理 如果训练样本线性可分，则由固定增量单样本感知机算法给出的权向量序列必定收敛于某个解向量 第三章 线性判别函数 郝红卫 * 感知准则函数最小化 固定增量单样本感知机算法详细步骤 样本增广 样本规范化 取初值 迭代 得到最终解 第三章 线性判别函数 郝红卫 * 感知准则函数最小化 例 31固定增量单样本感知机算法示例.pdf 32固定增量单样本感知机算法示例.doc 第三章 线性判别函数 郝红卫 * 感知准则函数最小化 算法推广 带余量的变增量感知机算法 Begin initialize a, margin b, η(.), k=0 do k ← (k+1) mod n if atyk ≤ b then a ← a + η(k)yk until atyk b for all k return a End 第三章 线性判别函数 郝红卫 * 感知准则函数最小化 批处理变增量感知机算法 第三章 线性判别函数 郝红卫 * 松弛算法 为了使搜索表面更为平滑，我们可以采用二次的准则函数 其梯度是连续的，但存在两个问题 有可能得到无意义的解a=0 模值大的样本对其影响太大 第三章 线性判别函数 郝红卫 * 松弛算法 改进后，得 梯度 迭代公式 第三章 线性判别函数 郝红卫 * 松弛算法 批处理余量松弛算法 第三章 线性判别函数 郝红卫 * 松弛算法 单样本余量松弛算法 第三章 线性判别函数 郝红卫 * 最小平方误差方法 前面的准则函数依然存在两个问题 只能利用被错分的样本 实际上是在解线性不等式组，不如解线性方程组方便 为此，我们可以引入余量bi， bi是任意取定的正常数，这样就可以将一个求解线性不等式组atyi0的问题转化为求解线性方程组atyi= bi ，同时，利用平方误差来定义准则函数，无论是否错分只要有误差就进行调整。 第三章 线性判别函数 郝红卫 * 最小平方误差方法 由此可得新的准则函数为 梯度 迭代公式 第三章 线性判别函数 郝红卫 * 最小平方误差方法 LMS (least-mean-squared)算法 第三章 线性判别函数 郝红卫 * 最小平方误差方法 LMS算法是后续机器学习算法的基础 感知机模型是多层感知机网络的基础 为解决非线性分类问题，感知机扩展为多层感知机；LMS算法改进成BP算法。 多层感知机网络及其BP算法，构成了应用最为广泛、功能强大的神经网络模型。 第三章 线性判别函数 郝红卫 * 讨论 * 第三章 线性判别函数 郝红卫 * 第三章 线性判别函数 3.1 引言 3.2 线性判别函数和决策面 3.3 广义线性判别函数 3.4 两类线性可分情况 3.5 梯度下降算法 3.6 感知准则函数最小化 3.7 松弛算法 3.8 最小平方误差方法 第三章 线性判别函数 郝红卫 * 引 言 贝叶斯公式中需要知道类条件概率密度函数和先验概率 在实际中，我们通常只能得到有限数目的样本 因此，分类器的设计过程可以分为两步： 利用样本集估计先验概率和类条件概率密度函数 将估计值代入贝叶斯公式，完成分类器设计 第三章 线性判别函数 郝红卫 * 引 言 先验概率的估计： 比较容易。 比如，癌细胞识别中，可以根据细胞病理检查的统计结果得到正常与异常的大致比例。 密度函数的估计： 非常困难。只能根据样本进行估计。 第三章 线性判别函数 郝红卫 * 引 言 解决的思路： 迎难而上 参数估计：假定密度函数是种分布，即分布形式已知但参数未知，通过训练样本估计分布的参数 比如，假定分布为正态，可以利用样本估计其均值和方差。 非参数方法：分布的形式未知，直接通过样本估计密度函数的形式和参数 另辟蹊径 第三章 线性判别函数 郝红卫 * 引 言 在对正态分布下贝叶斯决策理论的讨论