机器学习研究第一讲：引言.pptVIP

机器学习研究第一讲：引言 王 珏 NII计划与现实 不分地域地、方便地获得与传输信息。 不分地域地、有效地共享硬软资源。 有效地利用信息，以提高生产率。 保证信息安全。 挑战的问题 我们面临挑战性问题—— “如何有效将信息转变为可以利用的知识” 根据不同需求，获得有用信息，过滤无用信息 机器学习是解决这个问题的重要途径之一 机器学习与美国的PAL计划 2001年，美国航空航天局JPL实验室的科学家在《Science》上撰文指出：机器学习对科学研究的整个过程正起到越来越大的支持作用，……，该领域在今后的若干年内将取得稳定而快速的发展。 讨论的问题 机器学习的一般说明 机器学习发展中的重要结果 近期机器学习的发展趋势 机器学习研究中的难题 激动人心的时代与危险 课程设置 经典机器学习的基本假设 经典机器学习的基本任务 对经典机器学习假设的解释 机器学习方法 涉及下述三个要素： (1)观测对象； (2)观测对象构成的样本集合。 (3)获得模型。 对 象 对问题世界的一次观察的记录，称为这个问题世界中的一个对象。 样本集合 令W是问题世界的有限或无限所有对象的集合，由于我们观察能力的限制，我们只能获得这个世界的一个有限的子集Q?W，称为样本集(训练集)。 “模型”的注释： 数学模型：黑箱方法(机器学习)。 物理模型：白箱方法。 其区别： (1)更为简洁且模型的每个部分与物理世界相对应。 (2)对世界确定为真。 “说明”暗示的三个问题 一致性假设：机器学习的条件。 建立模型：决定模型对样本集合的有效性。 泛化能力：决定模型对世界的有效性。 三个问题 建立模型的问题 不同时期，关注不同 早期研究主要集中在建立模型上 近期的研究，在考虑高效建立模型(多项式算法)的基础上，要求模型必须满足泛化能力的条件 未来的研究，必须考虑一致性假设 讨论的问题 机器学习的一般说明 机器学习发展中的重要结果 近期机器学习的发展趋势 机器学习研究中的难题 激动人心的时代与危险 课程设置 机器学习的神经科学基础 19世纪末，James的神经系统结构。 20世纪中期，McCulloch和Pitts的神经元工作方式。 20世纪中期，Hebb的学习律。 James对计算的意义 神经系统的结构：神经元是互相连接。 这个事实使得我们可以建立基于神经系统机器学习的的数学模型。 Y=W?X 其中，X是多个神经元的输入矢量，Y是神经元输出，W是输入与输出神经元之间联结强度的矢量(矩阵)。 MP对计算的意义 神经元的工作方式是“兴奋”和“抑制”。 这个发现不仅对神经科学有重要的科学意义，而且是近代技术的科学基础，特别是计算机科学，0与1表示就受启于此。 由此，机器学习模型变为： Y=sign(W?X) Hebb对计算的意义 如果两个神经元之间的连接对正确识别有利，增强其连接强度(?w0)，反之，减弱其连接强度(?w0)。 wj+1=wj+?w 其中， ?w=?(t-o)xi, ?称为学习率。 机器学习早期研究 Rosenblatt的感知机(1956) Widrow的Madline (1960) Samuel的符号机器学习(1965) Minsky的“Perceptron”著作(1969, 1988) 感知机模型 根据样本集合，计算一个决策平面(线性)，将属于不同类别的样本划分到空间的不同区域。 Hebb学习律暗示可以使用调整神经元连接权值的方法，达到上述目的。 其缺点是：不能解决线性不可分问题。 对感知机的批评(Minsky) 不能解决复杂问题的方法是无用的(必须解决非线性问题)。 只能解决玩具世界问题的算法是无用的(必须解决大规模问题)。 Madline模型 在数学上，其本质是放弃感知机对样本空间划分的决策分界面需要满足连续且光滑的条件，代之分段的决策分界面。 对Madline模型的批评 在平面存在n个点，总可以最多使用n-1条线将其分开。解可能是平凡的。 不存在对时间与空间是多项式复杂性的算法，使得对空间上样本的划分所使用的决策分界面个数最少。 符号机器学习的历史 1959年，Solomonoff关于文法归纳的研究应该是最早的符号机器学习。 1967年，Gold证明，这是不可能的实现的。 1967年，Samuel将分段划分引入对符号域的数据分析。由此，演变为一类基于符号数据集合的约简算法，这是现代符号机器学习的基础。 符号机器学习的限制 算法定义在符号域，连续量必须被映射到这样的域上，算法才有效。然而，设计一个普适的映射十分困难，甚至是不可能的。 学习算法泛化能力的刻画，依赖模型的描述长度，描述长度越短，覆盖对象越多，泛化能力越强。 “Percetron” 1969年，Minsky与Papert出版了引起机器学习领域以后近二十年研究方向巨变的著作： “Perceptr