人工智能兴7第七章机器学习.ppt

;机器学习的定义;机器学习研究的几种观点;机器学习问题的表示;机器学习问题的形式化表示;机器学习中的三类基本问题;模式识别问题的损失函数;函数逼近问题的损失函数;概率密度估计问题的损失函数;经验风险;经验风险最小化;推广能力（泛化能力）;预测问题举例 ;多项式曲线拟合（回归）;确定参数 w; 多项式次数M的选择;测试数据进行评价;多项式系数 ;数据集规模产生的影响;预测函数复杂性与泛化能力 ;统计学习理论的主要内容;学习过程一致性;学习过程一致性的条件;定义指标，衡量函数集性能;指示函数集的熵和生长函数;退火的VC熵;学习过程一致收敛的充分必要条件;生长函数的性质;VC维;VC维与学习过程一致性;推广性的界;对推广性界的说明;函数子集序列（子集结构）;结构风险最小化原则SRM; Sn;合理的函数子集结构应满足;结构风险最小化原则下，分类器的设计过程;寻找具体使用结构风险最小化原则的方法;7.2 线性分类器;线性分类器定义 ;a;采样线性分类，可以这样;采样线性分类，也可以这样;采样线性分类，还可以这样;分类超平面;分类间隔;感知机算法;分类间隔与误分次数的关系 ;最优分类面;固定斜率时，最大间隔分类面的导出;固定斜率时，最大间隔的计算？;极大化“间隔”的思想导致求解下列对变量 和 的最优化问题 说明：只要我们求得该问题的最优解 ，从而构造分划 超平面 ，求出决策函数 。 上述方法对一般 上的分类问题也适用. ;支持向量;求解原始问题;线性可分问题;近似线性可分问题;;(广义)线性支持向量分类机算法;非线性分类;Non-linear Classification;Non-linear Classification;Non-linear SVMs;设训练集 ，其中 假定可以用 平面上的二次曲线来分划： ;可见，只要利用变换，把 所在的2维空间的两类输入点映射到 所在的6维空间，然后在这个6维空间中，使用线性学习机求出分划超平面：;需要求解的最优化问题;在求得最优化问题的解 后，得到分划超平面;为此，引进函数;实现非线性分类的思想;决策函数;设 是 中的一个子集。称定义在 上的函数 ;多项式内核 径向基函数内核RBF Sigmoind内核;多项式内核;－ Edgar Osuna(Cambridge,MA)等人在IEEE NNSP’97发表了An Improved Training Algorithm for Support Vector Machines ,提出了SVM的分解算法，即将原问题分解为若干个子问题，按照某种迭代策略，通过反复求解子问题，最终使得结果收敛于原问题的最优解。;考虑去掉Lagrange乘子等于零的训练样本不会影响原问题的解，采用一部分样本构成工作样本集进行训练，移除其中的非支持向量，并把训练结果对剩余样本进行检验，将不符合KKT条件的样本与本次结果的支持向量合并成为一个新的工作集。然后重新训练，如此重复获得最优结果。 例如：基于这种思路的 算法。;SMO使用了块与分解技术，而SMO算法则将分解算法思想推向极致，每次迭代仅优化两个点的最小子集，其威力在于两个数据点的优化问题可以获得解析解，从而不需要将二次规划优化算法作为算法一部分。尽管需要更多的迭代才收敛，但每个迭代需要很少的操作，因此算法在整体上的速度有数量级的提高。另外，算法其他的特征是没有矩阵操作，不需要在内存中存储核矩阵。;SMO算法每次迭代时，在可行的区域内选择两点，最大化目标函数，从而优化两个点的最小子集。无论何时，当一个乘子被更新时，调整另一个乘子来保证线性约束条件成立，保证解不离开可行区域。每步SMO选择两个参数优化，其他参数固定，可以获得解析解。尽管需要更多的迭代才收敛，但每个迭代需要很少的操作，因此算法在整体上的速度有数量级的提高。另外，算法其他的特征是没有矩阵操作，不需要在内存中存储核矩阵。;SVM寻优算法;SMO算法核缓存算法 SMO算法在每次迭代只选择两个样本向量优化目标函数，不需要核矩阵。虽然没有核矩阵操作，但仍需要计算被选向量和训练集中所有样本向量的核函数，计算次数为2n（n为训练集中的样本数）。如果训练集中的样本选取有误，在噪声比较多的情况下，收敛会很慢，迭代次数很多，则核函数的计算量也是非常可观的，SMO 算法的优点就完成失去了。同时，考虑到文本分类的文本