模式识别——非线性分类器.pptVIP

词语：进行 拼音：jìnxíng 解释：向前行走。《墨子·经说下》：“傴宇不可偏举，字也。进行者，先敷近，后敷远。”孙诒让间诂：“傴区、偏徧，并声同字通。字当作宇。敷犹布也。”唐韦瓘《周秦行纪》：“夜月始出，忽闻有异香气，因趋进行，不知远近。”沙汀《航线》：“鼓动着钢铁的脉搏，喷着气，船朝前进行。”从事；实行。《孟子·梁惠王上》“吾惛，不能进於是矣”汉赵岐注：“王言我情思惛乱，不能进行此仁政。”明宋濂《孚中禅师信公塔铭》：“谓左右曰：‘吾将归矣。汝等当以荷法自期，励精进行可也。’”毛泽东《关心群众生活，注意工作方法》：“因为革命战争是群众的战争，只有动员群众才能进行战争，只有依靠群众才能进行战争。”指病情扩展。黄既《关向应同志在病中》六：“他的左肺由于脓胸，已经完全萎缩，右肺的病，进行很快，将近一半也已经坏了。”《花城》1981年第6期：“她消瘦下去，像癌症病人一样进行性地、恶病质地消瘦下去。” 实际问题经常不是线性可分的，即决策面是非线性函数。 常用方法： ①分段线性函数，见P83图5-3，采用距离为分类标准，一般要求对样本的分布有所了解。 关键是子类数目，权值确定也比较复杂。 ②直接使用非线性判别函数，如神经网络方法。 ③非线性支持向量机，公认是比较好的分类器设计方法。 异或(XOR)问题 x1 x2 XOR Class 0 0 0 B 0 1 1 A 1 0 1 A 1 1 0 B 不存在决策线将两类分开. * 第一页，共21页。 而与和或问题是线性可分的 两层感知器 对于问题, 可以划两条线，而不是一条线。见下页图形 * 第二页，共21页。 B类位于阴影区域之外，而A类位于阴影区域之内。 分类器可以采用两阶段的设计方法。 阶段1 划两条线（超平面） 每条线由一个感知器实现 阶段2 根据 y1, y2 的值确定 x 相对两条线的位置 1st phase 2nd phase x1 x2 y1 y2 0 0 0(-) 0(-) B(0) 0 1 1(+) 0(-) A(1) 1 0 1(+) 0(-) A(1) 1 1 1(+) 1(+) B(0) 等价地: 阶段1 实现如下影射 * 第三页，共21页。 决策在变换后的数据 y 域进行: 可以再划一条线，将两类分开，该线用一个感知器实现。 阶段1实现了一个映射，将线性不可分问题转化为线性可分问题。 神经网络的结构如下图所示。 * 第四页，共21页。 这是一个两层感知机，包含一个隐层和一个输出层。激活函数为 图中的神经元实现以下直线（超平面） 误差反向传播算法 迭代计算连接权值的算法程序，使代价函数最小化 * 第五页，共21页。 优化过程需要计算导数，不连续的激活函数存在问题 可以采用下面的连续函数近似，也可以采用其他函数 函数中的 a 决定了函数的近似程度。 有两种训练方法 批量训练方法：所有样本一起计算误差，统一调节权值 单样本训练方法：每个样本误差调节一次权值 * 第六页，共21页。 * 第七页，共21页。 主要问题: 算法可能收敛到局部极小值 * 第八页，共21页。 过拟合问题网络把噪声的信息也学来了，推广能力差 * 第九页，共21页。 广义线性判别函数 回忆异或问题，映射 激活函数把非线性问题变换成线性问题。 一般情况，是否存在函数与合适的 k，通过映射 把分类问题转换为线性的？ 如果是这样，得到 则存在超平面 w∈Rk，得到如下分类器 因此，可以把判别函数近似表示为 * 第十页，共21页。 径向基函数网络 Radial Basis Function Networks (RBF) 选择非线性函数为径向基函数 径向基函数示意图 * 第十一页，共21页。 等价于激活函数为RBF函数的单层神经网络 * 第十二页，共21页。 例:用RBF网络解决异或(XOR)问题 定义RBF函数的中心和宽度为 隐层神经元输出为 x1 x2 XOR Class 0 0 0 B 0 1 1 A 1 0 1 A 1 1 0 B * 第十三页，共21页。 RBF网络的分类结果 * 第十四页，共21页。 RBF 网络训练 固定中心: 在数据点中间随机选择中心，宽度σi心也是固定的，那么 变成典型的线性分类器设计问题 中心训练是非线性优化问题，可以采用监督学习和非监督学习相结合的方法进行分类器设计。 RBF 网络具有局部性质，收敛速度快但推广能力弱。 多层感知器与RBF 网络比较 采用聚类分析方法确定中心，再用监督学习方法进行线性分类器设计。 多层感知器具有全局性质，收敛速度慢但推广能力强。 * 第十五页，共21页。 非线性支持向量机 特征向量的维数增加可以