模式识别——非线性分类器.pptVIP

* 第5章 非线性判别函数 实际问题经常不是线性可分的，即决策面是非线性函数。 常用方法： ① 分段线性函数，见P83 图5-3，采用距离为分类标准，一般要求对样本的分布有所了解。 关键是子类数目，权值确定也比较复杂。 ②直接使用非线性判别函数，如神经网络方法。 ③非线性支持向量机，公认是比较好的分类器设计方法。 异或(XOR)问题 x1 x2 XOR Class 0 0 0 B 0 1 1 A 1 0 1 A 1 1 0 B 不存在决策线将两类分开. * 而与和或问题是线性可分的 两层感知器 对于问题, 可以划两条线，而不是一条线。见下页图形 * B类位于阴影区域之外，而A类位于阴影区域之内。 分类器可以采用两阶段的设计方法。 阶段1 划两条线（超平面） 每条线由一个感知器实现 阶段2 根据 y1, y2 的值确定 x 相对两条线的位置 1st phase 2nd phase x1 x2 y1 y2 0 0 0(-) 0(-) B(0) 0 1 1(+) 0(-) A(1) 1 0 1(+) 0(-) A(1) 1 1 1(+) 1(+) B(0) 等价地: 阶段1 实现如下影射 * 决策在变换后的数据 y 域进行: 可以再划一条线，将两类分开，该线用一个感知器实现。 阶段1实现了一个映射，将线性不可分问题转化为线性可分问题。 神经网络的结构如下图所示。 * 这是一个两层感知机，包含一个隐层和一个输出层。激活函数为 图中的神经元实现以下直线（超平面） 误差反向传播算法 迭代计算连接权值的算法程序，使代价函数最小化 * 优化过程需要计算导数，不连续的激活函数存在问题 可以采用下面的连续函数近似，也可以采用其他函数 函数中的 a 决定了函数的近似程度。 有两种训练方法 批量训练方法：所有样本一起计算误差，统一调节权值 单样本训练方法：每个样本误差调节一次权值 * * 主要问题: 算法可能收敛到局部极小值 * 过拟合问题网络把噪声的信息也学来了，推广能力差 * 广义线性判别函数 回忆异或问题，映射 激活函数把非线性问题变换成线性问题。 一般情况，是否存在函数与合适的 k，通过映射 把分类问题转换为线性的？ 如果是这样，得到 则存在超平面 w∈Rk，得到如下分类器 因此，可以把判别函数近似表示为 * 径向基函数网络 Radial Basis Function Networks (RBF) 选择非线性函数为径向基函数 径向基函数示意图 * 等价于激活函数为RBF函数的单层神经网络 * 例:用RBF网络解决异或(XOR)问题 定义RBF函数的中心和宽度为 隐层神经元输出为 x1 x2 XOR Class 0 0 0 B 0 1 1 A 1 0 1 A 1 1 0 B * RBF网络的分类结果 * RBF 网络训练 固定中心: 在数据点中间随机选择中心，宽度σi心也是固定的，那么 变成典型的线性分类器设计问题 中心训练是非线性优化问题，可以采用监督学习和非监督学习相结合的方法进行分类器设计。 RBF 网络具有局部性质，收敛速度快但推广能力弱。 多层感知器与RBF 网络比较 采用聚类分析方法确定中心，再用监督学习方法进行线性分类器设计。 多层感知器具有全局性质，收敛速度慢但推广能力强。 * 非线性支持向量机 特征向量的维数增加可以增大样本线性可分的概率。 采用下面的非线性映射 在Rk空间采用支持向量机分类 需要在高维空间计算内积，计算复杂性增加 解决方法：高维空间内积表示成低维空间内积的函数 * Mercer 定理 则对任意函数 H空间内积定义为 下式成立 （5-50） 反之若（5-50）式成立，则 K(x , x’) 一定对应某个空间H的内积 K(x , x’) 是对称的，称为核函数。 常用的核函数 多项式核函数 RBF核函数 Sigmoid 核函数 * 非线性支持向量机分类步骤 Step 1: 选择核函数。隐含着一个到高维空间的映射，虽然不知道具体形式。 Step 2: 求解优化问题 s. t. C ≥ ai ≥ 0，i=1,2,…,N (5-48） 结果得到隐式组合 Step 3： 对给定样本 x 进行分类 * 非线性支持向量机结构 * * 决策树Decision Trees This is a family of non-linear classifiers. They are multistage decision systems, in which classes are sequentially rejected, until a finally accepted class is