关于机器学习的讨论 .PDFVIP

1 关于机器学习的讨论 * 王 珏 中国科学院 自动化研 究所复杂 系统与智能科学实验室, 北京 1000 80 1. 1 引言 20 世纪 90 年代初 , 当时 的美国副总统提 出了一个重要的研究计划——— 国家信 息基 础设施计划 ( N at ion al Infor m at ion In fra st ruct u re , NI I ) 。在这个计划的推动下, 经过大批 科学家与工程师的不懈努力, 我们 的生活与工作方式产生 了重要的改变 。这个计划的技 术含义包含了四个方面的内容 : ( 1) 不分时间与地域 , 可 以方便地获得信息。 (2 ) 不分时间与地域 , 可 以有效地利用信息。 ( 3 ) 不分时间与地域 , 可 以有效地利用硬软件资源 。 (4 ) 保证信息安全 。 经过十年的努力, 集计算机科学与技术近 四十年的积累, 终于实现了以数字 网络与浏 览器为核心的技术 , 并做到了“不分时 间与地域 , 可 以方便地获得信息”。然而 , 其他三个 目标 , 特别是“不分时间与地域 , 可 以有效地利用信息”的 目标远远未能实现。下面这个感 叹, 正是我们所面临的现实的写照: E-m a il , 汗流浃背找寻信息的 日子一去不复返 , 无纸办公 、轻松工作是我们的憧憬 , 然而, 我们失望了, 病毒的侵扰 , 我们提心吊胆 , 垃圾的涌现 , 我们苦不堪言, 我们不安地注视着秘书移动的鼠标 , 打印机吐 出淹没我们的纸张, * 本文 得到 国家重 大基础 研究 项 目“数字 内容 理解 的理论与 方法 ( 20 04C B318 10 3 ) ”的支 持 。 2 机器学习及其应用 无纸办公成为嘲讽 , 轻松工作成为梦想, 我们开始怀念 没有 e- ma il 的时代, 我们开始忧虑进入烦恼的 e- ma il 时代。 本文不准备讨论“硬软件有效利用”与“信息安全”的问题 , 而将讨论集中在解决“信息 有效利用”的方法之上。“信息有效利用”问题的本质是, 如何根据用户的特定需求从海量 数据 中建立模型或发现有用的知识。对计算机科学来说, 这就是机器学习。 2001 年 , 美国航空航天局 J P L 实验室的科学家 Mjol sne ss 等人在 S cience 上撰文指 出:“每个科学领域的科学过程都有它 自己的特点, 但是, 观察、创立假设、根据决定性实验 或观察的检验、可理解检验的模型或理论 , 是各学科所共有的。对这个抽 象的科学过程的 每一个环节 , 机器学习都有相应的发展 , 我们相信它将导致科学方法 中从假设生成、模型 构造到决定性实验这些所有环节的合适的、部分的 自动化。当前 的机器学习研究在一些 基本论题上正取得令人印象深刻 的进展 , 我们预期机器学习研究在今后若干年中将有稳 [ 6 ] 定的进展” 。 这个提法是令人惊讶的, 大大超过了机器学习研究者的奢望, 因为他们从未指望在科 学研究的整个过程 ( 观察、假设、实验、检验、模型或理论) 中扮演如此重要的角色。 计算机科学, 特别是人工智能的研究者一般公认 Simon 对 学习的论述 :“如果一个系 统能够通过执行某个过程改进它 的性 能, 这就是学习”。这是一个相 当广泛的说 明, 其要 点是“系统”, 它涵盖了计算系统、控制系统以及人系统等 , 对这些不同系统的学习, 显然属 于不同的科学领域。即使计算系统, 由于 目标不同, 也分为 了“从有限观察概括特 定问题 世界模型的机器学习”、“发现观测数据 中暗含的各种关系的数据分析”, 以及“从观测数据 挖掘有用知识的数据挖掘 ”等不同分支。由于这些分支发展 的各种方法 的共 同目标都是 “从大量无序的信息到简洁有序 的知识”, 因此 , 它们都可 以理解为 Sim on 意义下 的“过 程 ”, 也就都是“学习”。本文将讨论 限制在“从有 限观察概括特定 问题世 界