Clementine 支持向量机的应用.pptVIP

支持向量分类通过引入核函数克服维灾难问题 训练样本输入变量的内积决定了超平面的参数 决策结果取决于新样本X与支持向量的内积 线性不可分的支持向量分类 参数和决策结果取决于转换处理后的样本内积 如果找到一个函数 ，有： 则：所有的参数估计和预测计算都可在原来的低维空间中进行 线性不可分的支持向量分类 例：有映射函数： 有函数： 称 为核函数 线性不可分的支持向量分类 利用函数?()转换到高维空间以后的内积等于原空间中二阶多项式函数的结果 常见核函数 线性核函数 多项式核函数 径向基核函数 Sigmoid核函数 r为偏差，通常为0；d为阶数，决定映射新空间的维度，一般不超过10；增加?可提高预测精度，但可能导致过拟合 线性不可分的支持向量分类 不必真的进行空间转换，也不必关心函数?()的具体形式，只需计算核函数即可 不同参数的核函数，或不同类型的核函数，对应着不同维度空间的内积 选择怎样的核函数及参数并没有唯一确定的准则，需要经验和反复尝试 线性不可分的支持向量分类 目标：分析输入和数值型输出之间的数量关系，预测来自训练样本集同分布的新样本的输出 与线性回归有“异曲同工”之处 支持向量回归 支持向量回归的超平面 一般回归分析中的参数估计 支持向量回归的参数估计： 损失函数最小原则下的超平面参数估计 ?