Chapter1机器学习概述.PDF

Chapter 1 机器学习概述 1.1 什么是机器学习？ ) S ：让计算机拥有自主学习的能力，而无须对其进行事无巨细的编程 ) T M. M ：计算机程序如果通过某种方法，利用经验E，提高在任务 T 上的性能 (以 P 为评价标准) ，则可认为该程序从经验 E 中进行了学习。 ) N J. N ：机器在结构、程序、数据等方面发生了基于外部信息的某种改变，而这 种改变可以提高该机器在未来工作中的预期性能。 总结： l 上述这些定义本质上是一致的，即认为机器学习是通过接收外界信息(包括观察样例、 外来监督、交互反馈等) ，获得一系列知识、规则、方法和技能的过程 1.2 机器学习的基本框架 ) 知识：人类已经获得的可形式化的某种理性表达，表达可以是确定的，也可以是概率的； 可以是全局的，也可以是局部的（很多时候，这些知识被称为先验知识） ) 经验：指机器在运行环境中得到的反馈，反馈不具有条理性，有有用的，也有没用的。 总结： l 先验知识和后天经验相结合的信息处理方式是现代机器学习的基本特征之一 ； l 在人类知识(H K)和实际经验(E E)结合在一起的计算模式 中，我们依赖知识设计合理的学习结构，利用实际经验对学习结构进行调整，实现既定 学习目标最优化。 ) 学习目标分类： 应用角度：感知任务、归纳任务、生成任务 技术角度：预测任务（包括：回归、分类）、描述任务（聚类、概率估计） 目标函数：均方误差 MSE （回归任务）、交叉熵 （分类任务）、F 准则、稀 疏性、信息量、最小因素错误准则。 ) 学习结构（一般称为“模型”）：函数、网络（神经网络、概率图）、规则集、有限状态 自动机、语法结构。 总结：定义学习结构、本身就是对先验知识进行形式化的过程。 ) 训练数据：数据是经验的累积，利用数据对系统进行学习可以更新先验知识、提高系统 可用性。数据的质量、数量和对实际场景的覆盖程度都会直接影响学习的结果。 ) 学习方法：学习方法是学习过程的具体实现，即算法。一般将算法依是否需要人为标注 分为有监督学习(S L)、无监督学习(U L) 、半监督学 习(S-S L)和增强学 习(R ) 。依优化方法分类， 可分为直接求解(如 PCA 模型中求解数据协方差矩阵的特征向量) 、数值优化(如神经网 络中的梯度下降算法)和遗传进化(如协同学习中的鸟群算法)等。 1.3 机器学习流派 ) 符号学派：所有智能行为都可以被简化成在一个逻辑系统中的符号操作过程。 l 优点：该方法在受限领域中表现出明显优势，因为在受限领域内，知识总结可以非 常细致完备，而且很少有新知识加入，因此可以构造一个高精度的推理系统。事实 上符号方法取得最大成功的也是在这些领域，如定理证明、路径优化、领域专家系 统等。 l 缺点：这些学习通常受到很严格的限制，无法摆脱既有知识框架的约束。当领域知 识变得宽泛复杂以后，符号方法越来越难以实现；符号方法的一个明显缺陷是对不 确定性的描述能力不足。 ) 贝叶斯学派：他们认为所有事件都是不确定的，因此要用随机变量来描述;同时，不同事 件之间的关系也是不确定的，也应该用概率形式来描述。 l 优点：和符号方法相比，贝叶斯方法引入的概念是革命性的:它引入了随机变量，对 事件的随机性有了基本描述手段;它用条件概率来描述事件之间的关系，对规则上 的不确定性具有天然描述能力;它将复杂事件之间的关系统一到概率框架中，将演 绎过程归结为边际概率(M D)计算，将推理过程归结为后验概率 (P D)计算，简洁而自洽 l 缺点：推理过程中计算会比较复杂 ；简单的概率结构会降低模型对实际问题的描述 能力；在复杂问题上，两个变量之间是否存在关系、存在何种关系，通常只有领域 专家才能确定，给应用带来了某种局限性。 ) 连接学派：连接学派也称为神经网络学派，其基本思想是基于大量同质结点的连接网络 来模拟智能行为。