非参数判别分类方法.pptVIP

对样本进行子类的合适划分是分段线性距离分类器性能好坏的一个关键问题3.7.3错误修正算法aiTy，ajTy相比较的含义aiTy是ai向量与y向量的点积，一般来说点积值比较大则表示这两个向量在方向上比较一致，换句话说向量间的夹角较小。如果某一类样本比较分散，但是能用若干个增广权向量表示。同一类规范化增广样本向量：与代表自己一类的增广权向量的点积的最大值比与其它类增广权向量的点积值要大。可以做到正确分类这种算法就是要用错误提供的信息进行叠代修正。对每类样本集进行具体划分，希望能知道每类所需的增广权向量数目。该数目可以在计算过程中按分类效果调整。

当每类的子类数目已知时可以采用假设初始权向量，然后由样本提供的错误率信息进行迭代修正，直至收敛。该算法的基本要点：对每个类别的子类赋予一初始增广权向量对每次迭代所得增广权向量用样本去检测，如发生错误分类，则利用错误分类的信息进行修正。其做法是：

先将某一j类的增广样本向量yj，与该类所有增广权向量求内积，找到其中的最大值将该yj与其它类(如i类)的权向量求内积，并作比较表明这些权向量都不再需要修改。果存在某个或几个子类不满足上述条件，譬如某个子类的现有权向量使得

这表明yj将错分类，有关权向量需要修正首先找到导致yj错分类的所有权向量中具有与yj内积最大值的权向量接着对作相应修正然后利用权向量的新值重复以上过程，直到收敛或迫使其收敛。这种算法在样本确实能被分段线性判别函数正确划分的条件下是收敛的。当该条件不满足时，则需逐步减小ρk的数值，迫使其“收敛”，显然会有相应的错误率存在。

3.7.4局部训练法它的出发点是类间的分界面必然处在两类样本的交界处，因此只需找出这些交界处的样本，然后对这些邻近的不同类样本,按需要确定分界面即可。几个问题参加训练的局部样本集由两类样本组成。这些区域称之为“交遇区”，局部训练法就是基于交遇区内的样本进行设计的。(1)如何从样本集中找到“交遇区”；(2)如何利用“交遇区”中样本设计线性分类器(3)如何进行分类决策。紧互对原型与交遇区寻找“交遇区”是先在每类样本集内进行分片划分，所使用的方法是聚类方法找到处在本类样本占领区域边界上的小片原型。若分属两类的两个原型互为最近邻，那么这两个原型就被认定为处在两类样本决策域的交界处，它们所在区域就成为交遇区。找到两类样本的交遇区首先对这两类样本进行聚类分析，找出它们各自的一些相对密集的子区域（“原型区”）在每个原型区中找到一个质心或距质心很近的样本作为各原型区的代表点，称为“原型”。找出各原型在对方类型中相距最近的原型对找到互为最小距离的原型对组成“紧互对原型对”。紧互对原型对的集合组成“交遇区”局部训练法如何利用“交遇区”来设计分界面的问题。基本思想：边界由若干个交遇区确定，在每个交遇区中只有两种不同类型的样本。由这些样本产生一个合适的分界面，一般使用分段线性分界面。具体做法：利用处于最紧贴边界的紧互对原型对产生一初始分界面，然后利用交遇区进行调整，这种调整属于局部性的调整。

分段线性判别函数产生步骤一：产生初始超平面

首先由紧互对原型对集合中最近的一对，产生一个初始决策面的方程。例如可由这两个原型的垂直平分平面作为初始界面，表示成H1步骤二：初始决策面最佳化确定H1能正确分类的所有紧互对原型对，并由这些原型对中的样本组成局部训练的样本集，按所使用的准则设计出线性决策面H1*，该决策面对现有局部样本集来说是最佳的。对该H1决策面又可找出它能正确分类的所有紧互对原型对。如果H1*与H1’的分类效果相同，则H1*不需再调整，否则由H1*作为初始决策面重复上述过程，直到所包罗的局部训练样本集不再发生变化为止。步骤三：新决策面的产生与最佳化

在找到一个最佳的决策面段后，将相应的局部训练样本从原紧互对原型对集合中撤走，然后在剩下的紧互对原型对集合重复上述步骤，产生另一个超平面分界面，如此重复下去直到所有紧互对原型对都被处理完毕，得到一系列超平面，组成分段线性分类器。分段线性分类器检验一个决策规则的确定在使用上述方法得到一组超平面作为分段线性分类器的分界面后，需要使用全体样本对其进行性能检验，观察其能否对全体样本作出合理的划分。使用全体样本进行检验及改进如果现有的决策