ch4_2 知器准则函数.pptVIP

4.3 感知器准则函数 本节所讨论的问题，是线性可分的。 对分类器的设计要求用感知器函数来表达。 问题：如何利用训练集，“学习”得到使感知器准则函数达到极小值的判别函数中的权向量。 基本假设 假设有一个2-类分类问题，训练集 是线性可分的；目的是求出判别函数 中的权向量。 模式向量的规范化处理： 若 则令 ； 若 则令 称为规范化样本。 规范化样本的相应分类结果 感知器准则函数的定义 感知器准则函数定义为(Rosenblatt,1956)： 其中 是被错分类的样本集。 当 被错分类时， ，即 ，因此 总是大于零的，而且当且仅当不存在错误分类样本时， 为空集时， 为零。这时准则函数达到最小值。 求极值 求使得 达到极小值时，权向量 的取值。在此采用梯度下降法。 首先，准则函数对 求偏导；(这是一个纯量函数对向量求偏导的问题) 注意：梯度 是一个向量，其方向是 增长最快的方向；因而负梯度方向就是 减小最快的方向。它启发我们在求准则函数的极小值时，沿着负梯度方向能够最快的到达极小值点。 梯度下降法的基本步骤 给定一个初始权值： ，从 出发，沿着负梯度方向 走一步，步长为 ，得到下一个权向量 ： 依此方法，从 出发，沿着负梯度方向 走一步，步长为 ，得到下一个权向量： （*） 综上所述，得到了一个迭代算法：从 出发，反复使用(*)，就可以得到一个序列： 可以证明，在一定的限制条件下，上面的序列收敛于使得 到达最小值权向量 。 (*)式就是梯度下降法的迭代公式。 步长 的选择十分重要，理论上可以计算出最佳的步长，但是计算量太大，实际中一般是根据具体情况人为选择。 感知器准则函数的梯度下降迭代公式 (*) (**) 感知器准则函数梯度下降法算法步骤 给定初始权向量 和步长 ； 找出被错分类的样本，转3)；若无错分类样本点，算法结束； 按照下面的迭代公式，求出新的权向量 ： 式 然后转2). 算法的改进 上述迭代算法的实质，是把样本集中所有被错误分类的样本点同时找出来，然后按照迭代公式所给出的方法进行一次性的修正权值向量。 改进：把样本集看作一个不断重复出现的序列而逐一加以考虑。对于任意一个权向量 ，如果它把某个样本错分类，就对其做一次修正。 算法的改进（1） 构造一个准则函数： 当 被错分类时， ，所以 ；当 被正确分类时 ，所以 ，这时，准则函数取得极小值。 还可以利用梯度下降法求解使得准则函数达到极小值的权向量。 算法的改进(2)：利用梯度下降法 准则函数的梯度： 迭代公式： 算法的改进(2)续 不使用规范化样本的迭代公式： (***) 注意：在上述算法中，要判断 的符号。 使用符号函数激励函数： 算法的改进(2)续 迭代公式(***)可以简化为：其中 为样本 的类别标记。即： 迭代公式进一步的简化：其中 单样本修正法的算法步骤： 已知训练集： 给定初始权向量 和步长 ， ， ， 是步序， 是累积误差； 输入样本 ，计算 ： ； 修正权向量： 计算累积误差： 单样本修正法的算法(续) 如果 ，则 ，并转2); 如果 ，且 ，则 并转2); 如果 ，且 ，则训练结束，得到权向量。 线性分类器的结构 算法的实现过程 分类器含有两个运行状态：训练（学习）状态和识别状态 训练状态(单样本修正算法)：首先初始化权向量，然后输入一个样本，得到 的值；接下来进行符号运算，若 ，则 ；若 ，则 ，然后