第8章 Spark MLlib 机器学习.pptxVIP

主讲人：xxx《Spark》大数据处理技术

SparkMLlib机器学习第8章

第8章SparkMLlib机器学习8.1机器学习概述8.2机器学习分类8.3机器学习基本流程8.4SparkMLlib机器学习库8.5SparkMLlib常用算法本章小结

第8章SparkMLlib机器学习

本章首先介绍机器学习的基本概念及其发展历程，其次，比较分析大数据、人工智能和机器学习的关系以及机器学习的应用领域，然后，对机器学习的学习模式进行分类，同时对机器学习的基本流程进行讲解，最后，重点阐述了SparkMLlib机器学习库典型的算法应用和常用算法实例。第8章SparkMLlib机器学习

8.1机器学习概述1.1.1机器学习简介机器学习是一门多领域交叉学科，涵盖概率论、统计学、近似理论和复杂算法理论等多门学科。机器学习专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，它重新组织已有的知识结构使之不断改善自身的性能，将现有内容进行知识结构划分并以此来提高学习效率。机器学习是人工智能核心，是使计算机具有智能的根本途径。机器学习强调三个关键词：任务（算法）、经验（模型）、性能（评估），其处理过程如图所示。

上图表明机器学习是数据通过算法构建出模型并对模型进行评估，这个模型评估的性能如果达到要求，就可以采用这个模型来测试其他的数据，反之就要调整算法来重新建立模型并进行评估。如此循环往复，最终获得满意的经验（模型）来处理其他的数据机器学习过程8.1机器学习概述

8.1.2大数据与机器学习大数据时代，数据出现了爆炸式地增长，数据存储需要海量级的存储空间，数据处理能力需要几何级的提升。否则大数据不能被很好地分析利用，反而成为垃圾数据，这是一种浪费。因此出现了Hadoop、Spark等大数据处理技术为用户存储、处理大数据提供了有效的方法。大数据处理可以通过大数据分析和机器学习来进行操作，机器学习是大数据分析的组成部分。大数据分析作为一个整体，包括大数据、数据学习、统计信息等等。机器学习涉及使用编程和计算算法来得出结论，而大数据分析则使用数字和统计来得出结果。8.1机器学习概述

8.1.3机器学习与人工智能人工智能和机器学习这两个科技术语如今广为流传，其二者有着紧密的联系，但也不尽相同，概括说，机器学习是一种实现人工智能的方法，可以说机器学习的出现推动了人工智能领域的快速发展。人工智能是计算机学科的一个分支，是研究和开发用于模拟、延伸、扩展人智能的理论、方法、技术及应用的一门学科，机器学习是实现人工智能的核心技术。机器学习是用算法解析数据并通过不断学习，对环境中发生的事件做出判断和预测的一项学习技术。机器学习最基本的做法是使用算法来解析数据并学习，然后对真实世界中的事件做出决策和预测。8.1机器学习概述

8.1.4机器学习与深度学习深度学习作为机器学习的一个分支，它解决的核心问题之一就是自动将简单的特征组合成更加复杂的特征，并利用这些组合特征解决问题。它除了可以学习特征和任务之间的关联以外，还能自动从简单特征中提取更加复杂的特征。如图展示了深度学习和传统机器学习在流程上的差异。深度学习算法可以从数据中学习更加复杂的特征表达，使得最后一步权重学习变得更加简单且有效。8.1机器学习概述

人工智能、机器学习和深度学习是紧密相关的几个领域。如图说明了它们之间的大致关系。人工智能是一类非常广泛的问题，机器学习是解决这类问题的一个重要手段，深度学习则是机器学习的一个分支。在很多人工智能问题上，深度学习的方法突破了传统机器学习方法的瓶颈，推动了人工智能领域的快速发展。8.1.4机器学习与深度学习8.1机器学习概述

机器学习的发展分为三个阶段。第一阶段，逻辑推理期（1956年—1960年），以自动定理证明系统为代表，这个时期主要研究“有无知识的学习”。如西蒙与纽厄尔成功开发了逻辑理论家和通用问题求解器。在开发逻辑理论家的过程中，他们首次提出并成功应用信息处理语言IPL，但是逻辑推理存在局限性。第二阶段，知识期（1970年—1980年），以专家系统为代表，这个时期主要研究将各个领域的知识植入到系统里，用各种符号来表示机器语言，通过机器模拟人类学习的过程。E.A.费根鲍姆等人在总结通用问题求解系统的成功与失败经验的基础上，结合化学领域专门知识，研制了世界上第一个专家系统dendral，可以推断分子结构。8.1.5机器学习发展过程8.1机器学习概述

8.1.5机器学习发展过程第三阶段，学习期（1990年—至今），这一时期机器学习是作为“突破知识工程瓶颈”的利器出现的，在20世纪90年代中后期，人类发现自己淹没在数据的海洋中，与此同时机器学习也从利用经验改善性能转变为利