[电脑基础知识]机器学习2013910.pptVIP

机器学习汇报Machine learning 1 主要内容 机器学习概述 监督学习算法举例：支持向量机 非监督学习算法举例： 算法 最优化算法举例：梯度下降法 学习算法的调试诊断 什么是机器学习 研究计算机怎样模拟或实现人类（动物）的学习行为，以获取新的知识或技能 重新组织已有的知识结构使之不断改善自身的性能 是人工智能的核心，是使计算机具有智能的根本途径 其应用遍及人工智能的各个领域 3 机器学习的一个形象描述 4 5 环境 学习环节 知识库 执行环节 反馈 机器学习系统基本结构 6 把机器学习过程看作是一个数学映射 学习的结果得到一个目标函数（计算模型） 目标函数将输入数据转换成为某种特定形式有用的输出。 光扫描字符识别 机器人为抓住某物体需要执行的动作 下棋游戏的下一步移动 是否允许贷款申请人贷款的建议 机器学习系统是一个计算模型 机器学习的应用 7 机器学习算法类型 监督学习：已知类别信息，调整分类器达到要求性能。例：支持向量机，神经网络 无监督学习：不带类别信息，类似聚类。 半监督学习：利用标注样本和未标注样本进行训练和分类。 强化学习：动态地调整参数，以达到强化信号最大。 机器学习具体方法 1）C4.5 2）支持向量机 3）K均值算法 4）先验算法 5）最大期望算法 6）网络分页算法 7）AdaBoost迭代算法 8）K近邻算法 9）朴素贝叶斯 10）分类与回归树 9 支持向量机 支持向量机是Cortes和Vapnik于1995年首先提出的，它在解决小样本、非线性及高维模式识别中表现出许多特有的优势，并能够推广应用到函数拟合等其他机器学习问题中。 支持向量机方法是建立在统计学习理论的VC 维理论和结构风险最小原理基础上的，根据有限的样本信息在模型的复杂性和学习能力之间寻求最佳折衷，以期获得最好的推广能力。 10 支持向量机的基本思想 最大间隔 低VC维 高推广能力 核函数 解决低维线性不可分问题 11 线性可分问题 最优分类超平面 分类超平面： 判决函数： 函数间隔： 几何间隔： 最大间隔问题： 在函数间隔 固定为1时，寻求最小的 优化问题： 问题求解：（Lagrange乘子法）得出对偶问题： 原问题最优解： 决策函数： 支持向量： 分类超平面仅与离超平面最近的 样本点相关（ KKT条件）（如H1和H2面上的点） 这些输入向量称为支持向量 线性不可分情况——核函数的引入 低维不可分问题高维未必不可分 一个简单的例子 二维平面中分类曲线为椭圆（线性不可分） 两维向三维的映射： 三维空间中线性可分 分类面： 根据支持向量机求得决策函数为 的内积计算： 令 称为核函数 高维空间中内积计算可以通过计算低维空间的内积得 到，核函数就是连接低维与高维之间的桥梁。 高维空间中支持向量机得出的决策函数可改写成： 因此得出一般的情形： 对于线性不可分的样本，作一个低维到高维的映射，使之在高维的空间中线性可分，在高维空间中采用最大间隔标准得出决策函数，由于巧妙的选取核函数，决策函数中在计算内积时只需换成核函数即可。 优点：由于核函数的特性，只需计算低维空间内积，而无需计算高维空间的内积，因此计算量与样本维数无关，只与样本数有关。 常用核函数： 多项式核： 径向基核： Sigmoid核： Mercer核：所以满足Mercer条件的对称函数，所有核函数要满足Mercer条件！ k-means算法简介 k-means算法，也被称为k-平均或k-均值，是一种使用最广泛的聚类算法。 它是将各个聚类子集内的所有数据样本的均值作为该聚类的代表点。 算法的主要思想是通过迭代过程把数据集划分为不同的类别，使得评价聚类性能的准则函数达到最优，从而使生成的每个聚类内紧凑，类间独立。 这一算法不适合处理离散型属性，但是对于连续型具有较好的聚类效果。 算法描述 为中心向量 初始化k个聚类重心 分组: 将样本分配给距离其最近的中心向量 由这些样本构造不相交（ non-overlapping ）的聚类 确定中心: 用各个聚类的中心向量作为新的中心 重复分组和确定中心的步骤，直至算法收敛 算法 k-means算法 输入：分类的数目k和包含n个对象的数据库。 输出：k个类别，使平方误差准则最小。 算法步骤： 1.为每个聚类确定一个初始聚类中心，这样就有K 个初始聚类中心。 2.将样本集中的样本按照最小距离原则分配到最邻近聚类 3.使用每个聚类中的样本均值作为新的聚类中心。 4.重复步骤2.3直到聚类中心不再变化。 5.结束，得到K