第十讲-机器学习.pptVIP

机器学习 什么是机器学习？ 人工智能大师Herb Simon这样定义学习： 学习：系统在不断重复的工作中对本身能力的增强或改进，使得系统在下一次执行相同任务或类似任务（指的是具有相同分布的任务）时，比现在做的更好或效率更高。 机器学习的重要性 机器学习是人工智能的主要核心研究领域之 一, 也是现代智能系统的关键环节和瓶颈。 很难想象: 一个没有学习功能的系统是能被 称为是具有智能的系统。 信息检索（Information Retrieval ) 机器学习的任务 令W是这个给定世界的有限或无限所有对象的集合，由于观察能力的限制，我们只能获得这个世界的一个有限的子集Q?W，称为样本集。 机器学习就是根据这个有限样本集Q ，推算这个世界的模型，使得其对这个世界为真。 机器学习的三要素 一致性假设：机器学习的条件。 样本空间划分：决定模型对样本集合的有效性。 泛化能力：决定模型对世界的有效性。 要素1：一致性假设 假设世界W与样本集Q具有某种相同的性质。 原则上说，存在各种各样的一致性假设。 在统计意义下，一般假设： W与Q具有同分布。或， 给定世界W的所有对象独立同分布。 要素2：对样本空间的划分 样本集合模型： 将样本集放到一个n 维空间，寻找一个超 平面(等价关系)，使 得问题决定的不同对 象被划分在不相交的 区域。 要素3： 泛化能力 泛化能力：学习的目的是学到隐含在数据对背后的规律,对具有同一规律的学习集以外的数据,该神经网络仍具有正确的响应能力,称为泛化能力 . 通过机器学习方法，从给定有限样本集合计算一个模型，泛化能力是这个模型对世界为真程度的指标。 关于三要素 不同时期，研究的侧重点不同 划分:早期研究主要集中在该要素上 泛化能力(在多项式划分):80年代以来的近期研究 一致性假设:未来必须考虑（Transfer learning） Transfer learning Transfer learning 这一概念是由 DARPA（美国国防高级研究计划局）在2005年正式提出来的一项研究计划。 Transfer Learning 是指系统能够将在先前任务中学到的知识或技能应用于一个新的任务或新的领域。 传统机器学习转移学习 Transfer Learning = “举一反三” 我们人类也具有这样的能力，比如我们学会了国际象棋，就可以将下棋的方法应用于跳棋，或者说学起跳棋来会更容易一些；学会了C++，可以把它的一些思想用在学习Java中；再比如某人原来是学物理的，后来学习计算机时，总习惯把物理中的某些思想和概念用于计算机科学中。用我们通俗的话总结，就是 传统机器学习 = “种瓜得瓜，种豆得豆” 迁移学习 = “举一反三” 机器学习是多学科的交叉 机器学习学科 1983年，R.S. Michalski等人撰写《机器学习：通往人工智能的途径》一书 1986年，Machine Learning杂志创刊 1997年以Tom Mitchell的经典教科书《machine learning》中都没有贯穿始终的基础体系，只不个是不同方法和技术的罗列 机器学习还非常年轻、很不成熟 机器学习的分类 传统上，大致可分为4类： 归纳学习 解释学习 遗传学习（GA) 连接学习(神经网络） 归纳学习 是从某一概念的分类例子集出发归纳出一般的概念描述。 这是目前研究得最多的学习方法，其学习目的是为了获得新的概念、构造新的规则或发现新的理论。 这种方法要求大量的训练例，而且归纳性能受到描述语言、概念类型、信噪比、实例空间分布、归纳模式等的影响。 解释学习 （分析学习）是从完善的领域理论出发演绎出有助于更有效地利用领域理论的规则。其学习目的是提高系统性能，而不是修改领域理论。 它与归纳学习相反，只需要少量的训练例，但要求有完善的领域理论，而且学习效果也与例子表示形式、学习方法（正例学习或反例学习）、概括程度等有关。 机器学习面临的挑战 随着应用的不断深入,出现了很多被传统机器学习研究忽视、但非常重要的问题（下面将以医疗和金融为代表来举几个例子） 机器学习正与众多学科领域产生了交叉，交叉领域越多,问题也越多,也正是大有可为处. 例子1：代价敏感问题 医疗：以癌症诊断为例，“将病人误诊为健康人的代价”与“将健康人误诊为病人的代价”是不同的。 金融：以信用卡盗用检测为例，“将盗用误认为正常使用的代价”与“将正常使用误认为盗用的代价”是不同的。 传统的ML技术基本上只考虑同一代价 如何处理代价敏感性？ 在教科书中找不到现成的答案。 例子2：不平衡数据问题 医疗：以癌症诊断为例，“健康人”样本远远多于“病人”样本。 金融：以信用卡盗用检测为例，“正常使用”样本远远多于“被盗用”样本。 传统的ML技术基本上只考虑平衡数据 如何处理数据