人工智能18解析.ppt

人工智能　━━　一种现代方法 云南大学 施心陵讲授 第十八章 从观察中学习 什么是机器学习 Simon：学习就是系统中的变化，这种变化使系统更有效地去做同样的工作。 学习的过程有：获取新的陈述性知识、通过教育或实践发展机械技能和认知能力、将新知识组织成为通用化和有效的表达形式、借助观察和实验发现新的事实和新的理论。 学习的形式 知识获取 获取新的知识，包括物理系统和行为的描述和建模，构造客观现实的表示。 技能求精 通过实践下意识地逐渐改造机制和认知技能。 实现的困难: 预测难 归纳推理只保假，不保证真。给生成的知识带来不可靠性。 机器很难觉察什么重要、什么有意义。 学习的形式 机器学习的基本策略 机器学习的基本策略 演绎学习：类推学习，基于解释的学习 学习者找出现有知识中所要产生的新概念或技能类似的部分，将其转换或扩大成适合新情况的形式，从而取得新的知识或技能。 包括给定领域知识，目标概念，训练实例和操作准则，找出满足准则的关于目标概念的充分条件。 学习智能体模型 据反馈类型： 有监督学习：从已知真假的实例中学习，即从其输入和输出的实例中学习一个函数。 无监督学习：在没提供明确输出值的情况下，学习输入的模式。 强化学习：从强化物（偶然回报）中学习。 归纳学习 归纳学习的一般模式 给定： (1) 观察语句集(事实)F：某类对象中个别具体对象的知识或某一对象的部分特征的知识。 (2) 初始归纳假设(可空)：关于目标的泛化描述。 (3) 背景知识：定义了在观察语句和所产生的候选归纳断言上的假定和限制，以及任何关于问题的领域知识(包括特化所找归纳断言的期望性质和择优标准)。 寻找：归纳断言H蕴涵观察语句并满足背景知识。 空间模型 学到的概念可能不唯一，除非正例集和反例集加起来正好等于整个实例空间。 规则空间：一套符号来规定表示规则的算符、术语。 归纳方法：从特殊到一般的推理 常量化为变量 去掉条件 增加选择(析取) 曲线拟合 归纳方法的过程就是搜索过程。找到包含例子的正确信息。用新例子去否定归纳出的错误规则，就要回溯。即选择例子和解释例子的反复，反复于例子空间和规则空间之间。 学习决策树 例：是否在餐馆等座位 Alternate Bar Fri/Sat Hungry Patrons Price Raining Reservation Type WaitEstimate 决策树的表达能力 决策树能表示输入属性的布尔函数 从实例中归纳决策树 目的：找到和实例一致的较小(树深度)的树 基本思想：首先测试最重要的属性 最重要属性：使得某实例的分类和其他实例最不同的属性，即能将实例区分开。 从实例中归纳决策树 选择属性测试 由属性提供的期望信息量度量属性的重要性. 信息内容 (熵): I(P(v1), … , P(vn)) = Σi=1 -P(vi) log2 P(vi) 例：抛掷均匀硬币 I(0.5, 0.5) = 1bit 包含p个正例和n个反例的训练集，需要： 餐馆训练集：p=n=6，则需1bit的信息 信息增益： 评估学习算法的性能 噪声和过拟合 决策树剪枝：防止递归划分不相关的属性 交叉验证：预留部分已知数据，用其测试所归纳的假设的准确度。 集体学习 从假设空间中选择作为一个整体的假设集合(集体)，并对它们的预测进行合成。 提高预测准确度 简单多数投票表决合成预测 扩大假设空间 集体学习 Boosting方法：根据前一个假设对训练实例的分类结果，对实例加权，增加错误分类实例的权值。并根据每个假设在训练集上的表现对假设进行加权，将多个假设进行加权-多数合成得到集体假设。 如何知道h ≈ f 在测试集上比较假设h 的预测和已知的正确分类，由正确预测的百分比评估假设h的质量。 学习曲线：将测试集上的预测准确率表示为训练集规模的函数。 问题：两个实例属于不同类别但属性值相同。 解决：增加属性，属性越多找到完全假设的可能越大。 问题：属性若和结果不相关则造成过学习（过拟合） 0871-5031301 * * / 16 jhzhang@ynu.edu.cn 信 息 学 院 人工智能—— 一种现代方法 人工智能—— 一种现代方法 信 息 学 院 18.1 学习的形式 18.2 归纳学习 18.3 学习决策树 18.4 集体学习 环境 学习环节 知识库 执行环节 信息的存储、知识的处理 Simon学习模型 学习是建立理论、形成假设和进行归纳