第一章-引言(机器学习).pptVIP

2003.12.18 机器学习-引言 作者：Tom Mitchell 译者： 曾华军等 自我介绍 张伟，东北大学信息学院教授。 电子邮箱：zhangwei@ 机器学习简介 “机器学习”一般被定义为一个系统自我改进的过程。 从最初的基于神经元模型以及函数逼近论的方法研究，到以符号演算为基础的学习, 至最新的统计学习的兴起，机器学习一直都在相关学科的实践应用中起着主导作用。 研究人员们借鉴了各个学科的思想来发展机器学习，但关于机器学习问题的实质究竟是什么尚无定论。不同的机器学习方法也各有优缺点，只在其适用的领域内才有良好的效果。 机器学习算法在很多应用领域被证明有很大的实用价值：（a）数据挖掘问题；（b）在某些人们可能还不具有开发出高效的算法所需的知识（比如，从图像库中识别出人脸）。 因此，以枚举的方法描述机器学习中的各个理论和算法可能是最合适的途径。 　　  机器学习简介 《机器学习》一书正是以枚举的方式来介绍机器学习的。其主要涵盖了目前机器学习中各种最实用的理论和算法，包括概念学习、决策树、神经网络、贝叶斯学习、遗传算法、SVM学习等。 对每一个主题，作者不仅进行了十分详尽和直观的解释，还给出了实用的算法流程。在卡内基梅隆 CMU等许多大学，本书都被作为机器学习课程的教材。 本书的作者Tom M．Mitchell在机器学习领域享有盛名。他是卡内基梅隆大学的教授。他还是美国人工智能协会(AAAI)的主席，并且是《机器学习》杂志和国际机器学习年会(ICML)的创始人。 本课程的目的：使学生掌握基本的机器学习算法，能够应用解决于文本分类等实际问题.激发兴趣,期末考试。  相关学科 人工智能 学习概念的符号表示。作为搜索问题的机器学习。作为提高问题求解能力途径的学习。使用先验的知识和训练数据一起引导学习。(八数码) 贝叶斯方法 作为计算假设概率的基础的贝叶斯法则。朴素贝叶斯分类器。估计未观测到变量的值的算法。 计算复杂性理论 不同学习任务中固有的复杂性的理论边界，以计算量、训练样例数量、出错数量等衡量。 控制论 为了优化预定目标，学习对各种处理过程进行控制，学习预测被控制的过程的下一个状态。 信息论 熵是信息内容的度量。学习的最小描述长度方法。编码假设时，它的最佳编码和与最佳训练序列的关系。 哲学 “奥坎姆的剃刀”（Occam’s razor）[1]：最简单的假设是最好的。从观察到的数据泛化的理由分析。  学习问题的标准描述 定义 如果一个计算机针对某类任务T的用P衡量的性能根据经验E来自我完善，那么我们称这个计算机程序在从经验E中学习[2] 。 西跳棋学习问题的解释 E，和自己下棋 T，参与比赛 P，比赛成绩（或赢棋能力，击败对手的百分比） 手写识别学习问题： 任务T：识别和分类图像中的手写文字 性能标准P：分类的正确率 训练经验E：已知分类的手写文字数据库 机器人驾驶学习问题： （link） 任务T：通过视觉传感器在四车道高速公路上驾驶 性能标准P：平均无差错行驶里程（差错由人类的监督裁定） 训练经验E：注视人类驾驶时录制的一系列图像和驾驶指令 西洋跳棋 译注：为了更好理解本例，下面简要介绍一下这种跳棋。棋盘为8×8方格，深色棋格不可着子。1、可单步行走，2、亦可每步跨对方一子单跳或连跳，被跨越的子被杀出局。3、到达对方底线的子成为王，可回向行走（成为王前只可前行），又可隔空格飞行。下图为西洋跳棋棋盘示例（起始状态）。 学习问题的标准描述（2） 定义很宽泛 这种行为与“学习”这个词日常谈论的含义相接近。甚至包括了以非常直接的方式通过经验自我提高的计算机程序(如,数据库查询)。需要更加细化。 实际的机器学习问题往往比较复杂，需要设计一个学习系统才能解决此类问题. 设计一个学习系统 基本设计方法和学习途径 （以西洋跳棋为例） 选择训练经验 选择目标函数 选择目标函数的表示 选择函数逼近算法 最终设计 设计一个学习系统 西洋跳棋学习问题 任务T，下西洋跳棋 性能标准P，击败对手的百分比 训练经验E，和自己进行训练对弈 细化的设计学习系统首先要选择经验E 明确三个关键属性 选择训练经验 第一个关键属性，训练经验能否为系统的决策提供直接或间接的反馈（间接+信用分配） 第二个重要属性，学习器在多大程度上控制样例序列（完全自我控制，“自我博奕”） 第三个重要属性，训练样例的分布能多好地表示实例分布，通过样例来衡量最终系统的性能（无限逼近） 于是我们的学习任务变成： 设计一个学习系统 西洋跳棋学习问题[3] 任务T，下西洋跳棋 性能标准P，击败对手的百分比 训练经验E，和自己进行训练对弈 要学习的知识的确切类型 对于这个目标知识的表示 一种学习机制 选择目标函数 目标函数ChooseMove Choose