机器学习简史(1).pdf

标 题 : 机器学习简史 发信站 : 水木社区 (Tue Apr 1 09:22:09 2014), 站内 最近学习的重点不在机器学习上面，但是现代的学科就是这么奇妙， 错综复杂，玩着玩着，你发现又回到了人工智能这一块。所以干脆好 好整理下 当下令很多人如痴如醉，但又不容易入门的机器学习。一 来给大多数还没有入门的人一点宏观概念， 二来让我自己以后找解决 办法的时候更有头绪。故此文不是给想 快速上手的工程师的菜单， 更像一篇娓娓道来的武侠小说， 看看人工智能世界的先驱们是如何开 宗创派的。 一、从人工智能说起 机 器学习属于人工智能的一块，先简要回顾一下。关于什么是“智 能”，就问题多多了。这涉及到其它诸如意识（ consciousness ）、自 我 （self ）、心灵 （mind）（包括无意识的精神 （unconscious_mind ）） 等等问题。人唯一了解的智能是人本身的智能，这是普遍认同的观 点。但是我们对我们自身智能的理解都非常有限， 对构成人的智能的 必要元素也了解有限，所以就很难定义什么是“人工”制造的“智 能”了。因此人工智能的研究 往往涉及对人的智能本身的研究。其 它关于动物或其它人造系统的智能也普遍被认为是人工智能相关的 研究课题。下图展示了人工智能的发展路线： 在 20 世纪 40 年代和 50 年代，来自不同领域（数学，心理学，工程 学，经济学和政治学） 的一批科学家开始探讨制造人工大脑的可能性。 1956 年，人工智能被确立为一门学科。 IBM 702: 第一代 AI 研究者使用的电脑 . 最 初的人工智能研究是 30 年代末到 50 年代初的一系列科学进展交 汇的产物。 神经学研究发现大脑是由神经元组成的电子网络， 其激励 电平只存在“有”和“无”两 种状态，不存在中间状态。维纳的控 制论描述了电子网络的控制和稳定性。 克劳德·香农提出的信息论则 描述了数字信号 （即高低电平代表的二进制信号） 。图灵的 计算理论 证明数字信号足以描述任何形式的计算。 这些密切相关的想法暗示了 构建电子大脑的可能性。 这一阶段的工作包括一些机器人的研发， 例 如 W。Grey Walter 的“乌龟 （turtles ）”，还有“约翰霍普金斯兽” （Johns Hopkins Beast ）。这些机器并未使用计算机，数字电路和符 号推理；控制它们的是纯粹的模拟电路。 Walter Pitts 和 Warren McCulloch 分析了理想化的人工神经元网络， 并且指出了它们进行简单逻辑运算的机制。 他们是最早描述所谓“神 经网络”的学者。 马文·闵斯基是他们的 学生，当时是一名 24 岁的 研究生。 1951 年他与 Dean Edmonds一道建造了第一台神经网络机， 称为 SNARC。在接下来的五十年中，闵斯基是 AI 领域最重要的领导 者和创新者之一。 1951 年，Christopher Strachey 使用曼彻斯特大学的 Ferranti Mark 1 机器写出了一个西洋跳棋（ checkers ）程序； Dietrich Prinz 则写 出了一个国际象棋程序。 [31]Arthur Samuel 在五十年代中期和六十 年代初开发的西洋棋程序的棋力已经可以挑战具有相当水平