深入探析机器学习与数据挖掘.pptVIP

机器学习与数据挖掘 基本问题 何为机器学习、数据挖掘？ 计算机的功能 替代人的大脑进行思维 最简单的：+-*/…… 稍复杂：圆、方、直线…… 按规则推理 传统的人工智能 更复杂的思维能力？ 学习、综合、推广、创新…… ?用计算机全面替代人的大脑进行思维是计算机学界的终极理想 何为机器学习、数据挖掘？ 计算机的功能 计算机“思维”水平的现状 人类已深刻理解的过程 使用准确的数学模型进行计算 各种运算：+ - * / sin log…… 边缘提取：各种算子 几何形状提取：Hough 变换 何为机器学习、数据挖掘？ 计算机的功能 计算机“思维”水平的现状 人类尚未深刻理解的过程？ 尚未有好的办法解决 人类是如何解决的？ ?学习 ?如果计算机可如人类一样学习，则可极大提高计算机应用范围和效果 机器学习 何为机器学习、数据挖掘？ 何为“学习”？ H. Simon: Any process by which a system improves its performance M. Minsky: Learning is making useful changes in our minds R. Michalsky: Learning is constructing or modifying representations of what is being experienced L. Valiant: Learning is the process of knowledge acquisition in the absence of explicit programming …… 何为机器学习、数据挖掘？ 学习的基本模型 人类是如何学习的？ 基本过程：观察?响应 何为机器学习、数据挖掘？ 学习的基本模型 人类是如何学习的？ 学习过程的本质是对因果律求逆 何为机器学习、数据挖掘？ 学习的基本模型 何为机器学习、数据挖掘？ 学习的基本模型 基本要素 问题：所需要的输出（类别、数值…） 特征／属性：可观测的物理量 样本：特征组合和输出类别的一些对应关系 何为机器学习、数据挖掘？ 学习的基本模型 目标 通过对少量样本的分析，获得一个特征和输出类别的一般性对应关系 ?基本数学模型 强：给定一组{(X, F(X))}，求F 如不对F进行很强的限制，一般难以实现 弱：给定一组{(X, F(X))}，对新的X，求F(X) “举一反三” 仍然是很难的问题 何为机器学习、数据挖掘？ 学习的基本模型 应用过程 机器学习与数据挖掘研究内容 样本准备 对象分割 对象在文档中可能只占很小比例 用整个文档提取的特征含有大量噪声 特征与特征提取 使用什么样的特征？如何计算？如何进行预处理？ …… 样本选择 正负样本数可能严重失衡（1:10，1:100） 样本可能包含噪声 机器学习与数据挖掘研究内容 样本预处理 特征选择 并非所有特征都对学习有帮助 过多的特征会带来大量噪声 特征降维 消除特征之间的相关性，降低特征维数 过多的特征会带来大量噪声 机器学习与数据挖掘研究内容 训练算法 算法选择 概率的/几何的？ 产生式/区分式？ …… 参数选择 算法参数的选择直接决定了训练出的模型的优劣 Boost 是否需要Boost? 用哪种Boost方法？ * * y=ax+b X Y A B a b 峰值 热 红色 跳动 …… 火 火 内在实体：不可直接观测 因果律 热 红色 跳动 可观测特征 学习 意识中的实体 概念空间 特征空间 因果律 物理过程 学习过程 原始数据 人工分析 机器学习 训练样本 模型 新数据 结果 离线过程 在线过程 数学方法 决定性步骤 尚无有效的理论指导 *