人工智能机器学习浅析.ppt

示例学习－ 两个空间模型（规则空间） 对规则空间的要求 表示要适应于归纳。如：有谓词才可以增减；有状态空间才能拟合。不同的归纳方法要求不同的规则表示方法。如果规则空间描述的语言的表达能力较弱，可以使用的归纳方法就比较少，规则空间的搜索反谓就比较小，搜索就比较容易。但解决的问题就较少。因此，设计是在规则空间表达能力与规则空间搜索难度之间进行权衡。 表示和例子的一致。如相差很大，解释例子和选择例子的过程就很复杂。 引入新术语（规则空间）。当表示语言不能描述学习过程中产生的新状态时，要产生新的术语。 示例学习－ 例 有两组数据 组别 发色 眼睛 1 金 蓝 红 蓝 金 蓝 金 灰 2 金 黑 黑 蓝 黑 蓝 黑 灰 金 黑 通过学习,得到描述规则 1 .[发色=金色 ∨ 红色] ∧ [眼睛=蓝色 ∨ 灰色] 2 .[发色=黑色] ∨ [眼睛=黑色] 示例学习－ 例 有两组数据（决策树学习） 组别 身高 发色 眼睛 + 矮 金 蓝 高 红 蓝 高 金 蓝 - 高 金 棕 矮 黑 蓝 高 黑 蓝 高 黑 棕 矮 金 棕 决策树学习 决策树(Decision Tree) 一种描述概念空间的有效的归纳推理办法。基于决策树的学习方法可以进行不相关的多概念学习，具有简单快捷的优势，已经在各个领域取得广泛应用。 决策树学习（概述） 决策树学习是以实例为基础的归纳学习。 从一类无序、无规则的事物（概念）中推理出决策树表示的分类规则。 概念分类学习算法：来源于 Hunt,Marin和Stone 于1966年研制的CLS学习系统，用于学习单个概念。 1979年, J.R. Quinlan 给出ID3算法，并在1983年和1986年对ID3 进行了总结和简化，使其成为决策树学习算法的典型。 Schlimmer 和Fisher 于1986年对ID3进行改造，在每个可能的决策树节点创建缓冲区，使决策树可以递增式生成，得到ID4算法。 1988年，Utgoff 在ID4基础上提出了ID5学习算法，进一步提高了效率。 1993年，Quinlan 进一步发展了ID3算法，改进成C4.5算法。 另一类决策树算法为CART，与C4.5不同的是，CART的决策树由二元逻辑问题生成，每个树节点只有两个分枝，分别包括学习实例的正例与反例。 其基本思想是以信息熵为度量构造一棵熵值下降最快的树，到叶子节点处的熵值为零，此时每个叶节点中的实例都属于同一类。 决策树学习（概述） 随着决策树学习算法的广泛应用，包括C4.5和CART的各种算法得到进一步改进。 当前比较引人注目的有斜超平面分割的多变决策树(Multi-Variance Decision Tree， MDT)算法，将遗传算法、神经元网络和C4.5相结合的GA-NN-C4.5 算法， SVM决策树算法。 这些改进算法旨在结合各种方案的优势，取得更合理的分类效果，总结出更通用的规则。 决策树学习（概述） 决策树学习采用的是自顶向下的递归方法。 决策树的每一层节点依照某一属性值向下分为子节点，待分类的实例在每一节点处与该节点相关的属性值进行比较，根据不同的比较结果向相应的子节点扩展，这一过程在到达决策树的叶节点时结束，此时得到结论。 从根节点到叶节点的每一条路经都对应着一条合理的规则，规则间各个部分（各个层的条件）的关系是合取关系。整个决策树就对应着一组析取的规则。 决策树学习算法的最大优点是，它可以自学习。在学习的过程中，不需要使用者了解过多背景知识，只需要对训练例子进行较好的标注，就能够进行学习。如果在应用中发现不符合规则的实例，程序会询问用户该实例的正确分类，从而生成新的分枝和叶子，并添加到树中。 决策树学习（决策树） 树是由节点和分枝组成的层次数据结构。节点用于存贮信息或知识，分枝用于连接各个节点。树是图的一个特例，图是更一般的数学结构，如贝叶斯网络。 决策树是描述分类过程的一种数据结构，从上端的根节点开始，各种分类原则被引用进来，并依这些分类原则将根节点的数据集划分为子集，这一划分过程直到某种约束条件满足而结束。 根结点 个子大 可能是松鼠 可能是老鼠 可能是大象 在水里 会吱吱叫 鼻子长 脖子长 个子小 不会吱吱叫 鼻子短 脖子短 可能是长颈鹿 在陆地上 可能是犀牛 可能是河马 决策树学习（决策树） 可以看到，一个决策树的内部结点包含学习的实例，每层分枝代表了实例的一个属性的可能取值，叶节点是最终划分成的类。如果判定是二元的，那么构造的将是一棵二叉树，在树中每回答一个问题就降到树的下一层，这类树一般称为CART（Classification And Regression Tree）。 判定结构可以机械的转变成产生式规则。可以通过对结构进行广度优先搜索，并在每个节点生