机器学习简介演示课件.pptVIP

机器学习简介 2018-03-15 中国电子科技集团第三十二研究所 主讲：瞿刚 目录 机器学习的定义 机器学习的发展历史和现状 机器学习的分类 机器学习的常见算法 机器学习的基本过程 机器学习的示例 机器学习的常见应用 流行的开源机器学习框架 Spark MLlib介绍 机器学习的定义 1 在维基百科上，对机器学习提出以下几种定义： “机器学习是一门人工智能的科学，该领域的主要研究对象是人工智能，特别是如何在经验学习中改善具体算法的性能”； “机器学习是对能通过经验自动改进的计算机算法的研究”； “机器学习是用数据或以往的经验，以此优化计算机程序的性能标准”。 机器学习的定义 1 三个关键词：算法、经验、性能 机器学习是数据通过算法构建出模型并对模型进行评估，评估的性能如果达到要求就拿这个模型来测试其他的数据，如果达不到要求就调整算法来重新建立模型，再次进行评估，如此循环往复，最终获得满意的经验来处理其他的数据。 机器学习的发展历史 2 机器学习是人工智能应用研究比较重要的分支，它的发展过程大体上可分为4个阶段： 第一阶段是在50年代中叶到60年代中叶，属于热烈时期； 第二阶段在60年代中叶至70年代中叶，被称为机器学习的冷静时期； 第三阶段从70年代中叶至80年代中叶，称为复兴时期； 机器学习的最新阶段始于1986年。一方面，由于神经网络研究的重新兴起，另一方面，对实验研究和应用研究得到前所未有的重视。我国的机器学习研究开始进入稳步发展和逐渐繁荣的新时期。 机器学习的发展现状 3 在搜索引擎方面Google的成功，使得Internet搜索引擎成为新兴产业。机器学习技术正在支撑着各类搜索引擎； DARPA(美国国防先进研究项目局)于2003年开始启动5年期PAL计划，这是一个以机器学习为核心的计划(涉及到AI的其他分支，如知识表示和推理、自然语言处理等)； 汽车自动驾驶。机器学习的主要任务是从立体视觉中学习如何行驶，根据观察人类的驾驶行为记录各种图像和操纵指令，并将它们进行正确分类； 在对天文物体进行分类、计算机系统性能预测、信用卡盗用检测、邮政服务属性识别、网络文档自动分类等方面，机器学习也在快速发展壮大。 机器学习的分类 4 监督学习 无监督学习 半监督学习 强化学习 机器学习的分类 -– 监督学习 4 监督学习是从给定的训练数据集中学习一个函数（模型），当新的数据到来时，可以根据这个函数（模型）预测结果; 在监督式学习下，输入数据被称为“训练数据”，每组训练数据有一个明确的标识或结果，如，对防垃圾邮件系统中“垃圾邮件”、“非垃圾邮件”; 在建立模型时，监督式学习建立一个学习过程，将预测结果与“测试数据”的实际结果进行比较，不断调整预测模型，直到模型的预测结果达到一个预期的准确率。常见的监督学习算法包括回归分析和统计分类。 机器学习的分类 -– 无监督学习 4 在无监督式学习中，数据并不被特别标识，学习模型是为了推断出数据的一些内在结构； 常见的应用场景包括关联规则的学习以及聚类等。常见算法包括Apriori算法和k-Means算法。 监督学习和无监督学习的区别：训练集目标是否被标注。他们都有训练集，且都有输入和输出。 机器学习的分类 -– 半监督学习 4 半监督学习是介于监督学习与无监督学习之间一种机器学习方式，主要考虑如何利用少量的标注样本和大量的未标注样本进行训练和分类的问题； 应用场景包括分类和回归，算法包括一些对常用监督式学习算法的延伸，这些算法首先试图对未标识数据进行建模，在此基础上再对标识的数据进行预测，如图论推理算法（Graph Inference）或者拉普拉斯支持向量机（Laplacian SVM）等； 半监督学习从诞生以来，主要用于处理人工合成数据，无噪声干扰的样本数据是当前大部分半监督学习方法使用的数据，而在实际生活中用到的数据却大部分不是无干扰的，通常都比较难以得到纯样本数据。 机器学习的分类 -– 强化学习 4 强化学习通过观察来学习动作的完成，每个动作都会对环境有所影响，学习对象根据观察到的周围环境的反馈来做出判断； 在强化学习下，输入数据直接反馈到模型，模型必须对此立刻做出调整； 常见的应用场景包括动态系统以及机器人控制等。常见算法包括Q-Learning 以及时间差学习（Temporal difference learning）。 机器学习的分类 -– 总结 4 在企业数据应用的场景下，人们最常用的可能就是监督式学习和无监督式学习的模型。 在图像识别等领域，由于存在大量的非标识的数据和少量的可标识数据，目前半监督式学习是一个很热的话题。 强化学习更多地应用在机器人控制及其他需要进行系统控制的领域。 机器学习的常见算法 5 回归算法（监督学习） 神经网络（监督学习） SV