6.机器学习(1.概述).pptVIP

* 机器学习的问题 存在什么样的算法能从特定的训练数据学习一般的目标函数呢？如果提供了充足的训练数据，什么样的条件下，会使特定的算法收敛到期望的函数？哪个算法对哪些问题和表示的性能最好？ 多少训练数据是充足的？怎样找到学习到假设的置信度与训练数据的数量及提供给学习器的假设空间特性之间的一般关系？ 学习器拥有的先验知识是怎样引导从样例进行泛化的过程的？当先验知识仅仅是近似正确时，它们会有帮助吗？ 怎样把学习任务简化为一个或多个函数逼近问题？换一种方式，系统该试图学习哪些函数？这个过程本身能自动化吗？ * * 机器学习 * 为什么学习 学习的定义 设计一个学习系统 学习的一般形式 机器学习研究的问题 OUTLINE * 为什么学习 为什么要研究机器学习？ 现在的人工智能系统还完全没有或仅有很有限的学习能力。系统中的知识由人工编程送入系统，知识中的错误也不能自动改正。也就是说，现有的大多数人工智能不能自动获取和生成知识，系统性能难以改善。 未来的计算机将有自动获取知识的能力，它们直接由书本学习，通过与人谈话学习，通过观察学习。它们通过实践自我完善。 优点:存储大、效率高、易于传送所获取的知识。一台计算机获取的知识很容易复制给任何其它机器 * 为什么学习 学习的例子： 计算机能从医疗记录中学习，获取诊断疾病的方法 个人软件助理跟踪用户的兴趣，并为其选择最感兴趣的在线早间新闻 数字识别、汉字识别、语音识别 * 为什么学习 学习目的：让计算机随着经验的积累自动提高性能 * 为什么学习 学习的定义 设计一个学习系统 学习的一般形式 机器学习研究的问题 OUTLINE * 学习的定义 学习定义： 对于某类任务T和性能度量P，如果一个计算机程序在T上以P衡量的性能随着经验E而自我完善，那么我们称这个计算机程序从经验E中学习 对于一个学习问题，必须明确： 任务的种类T 衡量性能提高的标准P 经验的来源E * 学习问题示例 手写数字识别学习问题 任务T：识别和分类图像中的手写数字 性能标准P：分类的正确率 训练经验E：已知分类的手写数字数据库 国际象棋学习问题 任务T：下国际象棋 性能标准P：比赛中击败对手的百分比 训练经验E：和自己进行对弈 * 学习问题示例 机器人驾驶学习问题 任务T：通过视觉传感器在四车道高速公路上驾驶 性能标准P：平均无差错行驶里程 训练经验E：注视人类驾驶时录制的一系列图像和驾驶指令 * 为什么学习 学习的定义 设计一个学习系统 学习的一般形式 机器学习研究的问题 OUTLINE * 设计一个学习系统 基本设计方法和学习途径 （以西洋跳棋为例） 选择训练经验 选择目标函数 选择目标函数的表示 选择函数逼近算法(选择学习算法) 最终设计 * 第一个关键属性，训练经验能否为系统的决策提供直接或间接的反馈。E.g.西洋跳棋 系统可从直接的训练样例，即各种棋盘状态和相应的正确走子中学习 系统可能仅有间接的信息，即很多过去对弈序列和最终结局(较早走子的正确性由结局推断。面临信用分配问题：每一次走子对最终结果的贡献程度) 注意：本例中系统提供的是间接训练经验 第二个重要属性，训练样例的分布能多好地表示实例分布，最终系统的性能是通过后者来衡量的。 选择训练经验 * 西洋跳棋学习问题 任务T：下西洋跳棋 性能标准P：击败对手的百分比 训练经验E：和自己进行训练对弈 学习系统需要选择 要学习的知识的确切类型 对于这个目标知识的表示 一种学习机制 选择目标函数(1) * 学习任务：如何从合法的走子中选择最佳走子。因此，要学习的信息类型是程序或函数 目标函数ChooseMove ChooseMove: B?M，接受合法棋局集合中的棋盘状态作为输入，并从合法走子集合中选择某个走子作为输出 问题转化 我们把提高任务T的性能P的问题转化（或简化）为学习像ChooseMove这样某个特定的目标函数 选择目标函数(2) * ChooseMove的评价 学习问题很直观地转化成这个函数 这个函数的学习很困难，因为提供给系统的是间接训练经验 选择目标函数(3) * 另一个目标函数V 一个评估函数，V: B?R，它为任何给定棋局赋予一个数值评分，给好的棋局赋予较高的评分 优点，学习简单 V的应用 根据V能够轻松地找到当前棋局的最佳走法。 选择目标函数(4) * V的设计，对于集合B中的任意棋局b，V(b)定义如下 如果b是一最终的胜局，那么V(b)=100 如果b是一最终的负局，那么V(b)=-100 如果b是一最终的和局，那么V(b)=0 如果b不是最终棋局，那么V(b)=V(b’)，其中b’是从b开始双方都采取最优对弈后可达到的终局 选择目标函数(5) * 上面设计的缺陷 递归定义、运算效率低 不可操作 简评 学习任务简化成发现一个理想