机器学习及其应用。.ppt

机器学习及其应用 黄大威 2014 年 5 月 1. 机器学习是新兴学科演化的产物 2. 机器学习的主要内容 3. 机器学习的基本方法 4. 机器学习的应用 ? 中医脉诊 ? 金融时间序列 5. 总结 天下大势，合久必分，分久必合。 自然哲学（前科学） 数学 物理 化学 西医 中医 算学 历法 西方 中国 农业 工业 概率 统计 信息时代是一个需要和产生 通才的时代 。机器学习 是需要和培养 通才 的领域。 信 息 化 时 代 信息生物学 计量经济学 生物力学 数量金融工程 生物光子学 …… …… 数字信号处理 新兴交叉学科 生物物理 生物化学 生物 统计机器学习 机器学习演化及联系 ? 凡是 从数据中自动分析获得规律，并利用规律对未知数据进行预测的 方法 都在机器学习的研究范围中。 ? 无论是获得规律，还是利用规律做预测，主要对象是随机现象，因此 统计方法是机器学习的主要工具。然而，作为交叉学科，与信息论， 计算机科学及它们衍生的应用学科都有关联；作为研究和使用规律的 学科，机器学习比这些应用学科研究对象 ( 如数据挖掘 ) 更广。 ? 反过来，由于信息及计算机科学与应用方面的参与，机器学习也创造 了很多新方法，促进了统计的发展。 概率论 统计 信息论 数字信号处理 通讯 …… 计算机科学 神经元网络 人工智能 数据挖掘 机器学习 统计机器学习：实践与理论的互动循环 ? 抽象思维的 演绎 能力使人类得以构建理论王国。她是有用的，在信息 时代也是客观存在的。建于 0-1 逻辑及存储基础上的 计算机就是一个 严格的理论世界 。各种软件都是基于 0-1 逻辑基础上演绎出来的。 ? 演绎的结果是否正确，取决于前提假设。正确的假设只能从实际中 归 纳 出来。假设是否正确，可由她演绎出来的结果与实际是否相符来检 验。 ? 机器学习既能帮我们从数据中 归纳出假设 （无监督学习），也能帮我 们在数据和假设的基础上 演绎出数学模型 来（有监督学习）。同时， 她在建模的过程中就强调验证，用验证来选择模型。模型最终是否正 确，还要新数据来检验。 演 绎 概率论 统计 归 纳 数据 假设 数学模型 验证 机器学习仍旧需要假设，但它又时时对所做假设抱有怀疑态度， 在建模中就不断用数据检验，最终以是否符合新的数据为标准。 机器学习大观 无监督学习 有监督学习 数字信号处理 生物信息学 计量经济学 …… 增强学习 数据展示 画图 聚类 (cluster) 主元素分析 …… 我们教机器学习 机器帮我们学习 回归与分类 (classification) 最小二乘， k 近邻法 岭回归， Lasso 交叉验证， Bootstrap 树状图， AdaBoost 随机森林 神经元网络 …… 考虑效果与控制 规划 方法介绍 1 ：最小二乘与 K 近邻法 ? 最小二乘源于统计，是线性模型在高斯白噪声情况下均方误 差意义最优解，在很一般性质噪声情况下也有相容解。 ? K 近邻法源于工程，但广泛条件下它收敛于条件期望，后者 是最小均方误差意义下的最优估计。 ? 两种方法均用于机器学习，优劣不可一概而论。一般而言， 最小二乘适用于简单问题， K 近邻法适用于 复杂问题 。 Y X X X x x Y T T 1 ) ( ) ( ? ? ? 方法介绍 2 ：线性模型估计与认证 ? 传统统计主要用最小二乘做参数估计；机器学习介绍了 Ridge 及 Lasso 等收缩估计以避免过拟合，具有鲁棒性。 ? 传统统计对 变量选取 有大量研究，如 t- 或 F- 检验，逐步回归；较近代 有 AIC ， BIC ， MDL 等。机器学习更多使用 交叉认证 及 Bootstrap ，但 也不排除使用前述方法 。 交叉认证 ? 传统统计得到估计量后常研究它对真实参数的收敛性；机 器学习往往 不假定真实模型的存在 。 ? 个人看法：应假定 随尺度而变的近似模型 。 方法介绍 3 ：决策树 ? 在机器学习中，决策树是一个预测模型 ，他代表的是对象属 性与对象值之间的一种映射关系。 ? 例子：根据属性 X 1 和 X 2 对对象 Y 分类： Y=1 超重， Y=2 正常， X 1 为饭量， X 2 为运动量。 决策树 超重 正常 正常 超重 实例：