归纳机器学习研究.pdfVIP

归纳机器学习的研究1 王珏崔佳 中国科学院自动化研究所北京100080 Sets理论派生的差别 摘要归纳机器学习一直是人工智能(^J)研究的基本课题。奉文试图使用Rough Sets理论在机器 矩阵原理为工具2，分析归纳机器学习的两个重要系歹啦一ID与AQ，并由此指出Rough 学习研究中的意义． 1引言 自50年代AI这个术语提出之后，AI大约经历了两个高潮期：在60年代，启发式搜 索的提出大大推动了AI的发展，尽管在知识表示和推理(特别是定理证明)也有大量的研 究，但是，在理论意义上，与启发式搜索相比，均不足以作为那个时代的特征。从70年 代末到80年代中的高潮期中，推理的研究成为AI研究的核心问题，Al的其他研究几乎 均成为推理研究的配角。IBM公司推出的“深蓝”下棋系统．可以认为是这两个高潮期AI 研究的总结。 在这两个高潮期中，尽管机器学习一直在AI的研究中扮演着重要的角色，但是，它 似乎一直是一种理论上的理想，而未能挤入Al舞台的中心。自此到90年代中期，AI的 研究几乎被媒体与神经网络的研究所淹没，但是，AI研究者在这个“AI的黑暗时期”为 下一个高潮的到来作了丈量的思想、理论与技术的准各。我们认为，现在这个黑暗时期已 经过去，AI研究的下一个高潮期已经到来。在这个高潮期中，机器学习与适应性的研究 将成为AI研究的主角。 本文并不准备阐述这个时期的特点及可能产生的结果，甚至不准备全面分析机器学习 本身的可能进展及可能的生长点，而将讨论局限在～个具体问题——归纳机器学习——这 个传统AI问题的理论分析。并试图说明，在历史上两类重要的归纳机器学习系列——1D Sets约简理论的类同性，以及使用RoughSets约简理 与AO在理论与算法框架上与Rough 论概括这两个系列的可能性和这种概括对计算实现的意义。 传统机器学习的目的是十分明确的，其本质就是根据已有观测数据(一般称为样本)． 在一给定基函数和目标函数的条件下，建立一个模型，并能使用这个模型解决新问题，机 器学习在理论上可以概括为：在可计算的条件下的泛化。这就是80年代初，Valiant在计 算学习理论中所概括的机器学习的基本要求。 显然，这类机器学习是十分重要的，其特点是计算机问题自动求解。但是，在与机器 学习有密切关系而且并行发展的另一个Al课题——知识发现的目标却有些不同，它更侧 重人，即．机器学习或发现的结果，是人对观测数据的理解有什么意义，而不是将对新问 ‘这个研究得到863计划与自然科学基金的部分支持． 2事实上，使用lawlak在RougIIs啪中的原始概念研究本文所给出的结论，也是一样的。 ——4—。 题求解的任务完全交给计算机。这样．前者可以称为“数据的计算机理解”，而后者可以 称为“数据的人的理解”。尽管在数据挖掘研究中，包括了这两个方面的研究．但是，我 们认为，后者可能是数据挖掘研究中最具特色的研究课题了。 “数据的人的理解”的任务可以理解为，需要将一本使用观测数据语言书写的，而使 人无法(或需要大量时间和空间)理解的的书．翻译为人可理解的语言的过程。因此，简洁 与自然是这个任务的两个基本要求，而在翻译过程中的透明性则是达到简洁并自然的必要 条件。在前人己发展的众多机器学习的理论与方法中，归纳机器学习也许是最能满足这个 条件的方法之一。这就是目前我们将我们的研究聚焦在归纳机器学习的原因。 Sets理论派生的差别矩阵为工具f3】I”，分析在AI研究中归纳机器 本文试图使用Rough Sets的约简理论在机器学习研究 学习的两个重要系列——ID与AQl6]．并由此指出Rough 中的意义。 2 AQ系列归纳机器学习 方法己成为人工智能研究中重要的结果之一。在AQ系列中，AQll是其理论基础，而其 他则是为了解决大样本集合问题，在技术上．采用了不同措施而形成的模型。本文只考虑 对其理论模型的分析，因为在理论上分析清楚