支持向量机和柔性判别-Support-Vector-Machines-and-Flexible-Discriminants.pptVIP

支持向量机和柔性判别

SupportVectorMachinesand

FlexibleDiscriminants

12.1Introduction本章主要讲述关于分类的现行判定边界的推广。对于两个类线性可分的情况，第四章中已经介绍了最佳分离超平面。这里将它扩展到不可分的情况。将第四章所讲的技术推广到支持向量机，通过在一个大的、变换后的特征空间中构造线性边界，支持向量机产生非线性边界。另一种方法集是对费希尔线性判别分析（LDA）的推广，包括柔性判别分析、罚判别分析和混合判别分析12.2TheSupportVectorClassifierN对训练集:超平面（hyperplane)由下式定义：其中β是单位向量，有f(x)导出的分类规则为：超平面的几何形状：由(12.1)中f(x)给出从点x到超平面f(x)的有符号距离由于类是可分的，我们可以找到函数即，能找到超平面，在类1和类-1的训练点之间产生最大的边缘。（见图12.1）对应于最优化问题：M表示图中的带在超平面的两侧距超平面的距离，宽度为2M。图中的带被称为边缘（margin）问题可以更方便地表示为：现在假设类在特征空间内有重叠。处理重叠的一种方法认识极大化M，但允许某些点出现在边缘的错误侧。定义松弛变量（slackvariable）