大数据分布式计算框架简介.pptxVIP

大数据分布式计算框架简介11/29/20241

各种名词云平台数据中心集群超级计算机分布式计算并行计算云计算集群计算高性能计算超级计算网格计算分布式系统并行系统11/29/20242

不一定准确的理解互联网连接的计算机低速互联网络，通用硬件，分布分散效劳器的集合高速互联网络，通用硬件，分布集中超级计算机超高速互联网络，专门定制的硬件，分布集中云平台数据中心集群超级计算机分布式计算并行计算云计算集群计算高性能计算超级计算网格计算分布式系统并行系统以上名词都可以对应到左边三类系统上11/29/20243

各种名词在线处理，离线处理流处理〔流式处理〕，批处理〔批量处理〕实时处理，流数据，批量数据11/29/20244数据存储技术数据处理技术数据存储通信统计分析机器学习

Hadoop起源DougCuttingLuceneHadoop这个名字不是一个缩写，而是一个虚构的名字，是Doug的孩子给一个棕黄色的大象玩具的命名GoogleLab的三篇论文GFS，MapReduce，BigTable——HDFS，MapReduce，HBase商业公司Cloudera，MapR，Hortonworks开发语言Java11/29/20245

Hadoop11/29/20246

Hadoop11/29/20247

HadoopHadoop框架中最核心设计是HDFS和MapReduce。HDFS，即为分布式文件系统，提供了对大规模数据的存储；MapReduce那么提供了对数据的分布式计算。11/29/20248

11/29/20249

MahoutMahout是Apache旗下的一个开源工程，是一个很强大的数据挖掘工具及分布式机器学习算法的集合,提供一些可扩展的机器学习领域经典算法的实现，旨在帮助开发人员更加方便快捷地创立智能应用程序。Mahout包含的算法实现主要有：推荐(Recommendation)，聚类(Clustering)，分类(Classification)，频繁子项挖掘等。Mahout用MapReduce实现了局部数据挖掘算法，解决了并行挖掘的问题。这里说的“解决”是一个初步的概念，很多算法由于各种原因是无法用map-reduce并行实现的。11/29/202410

SparkBerkeleyDataAnalyticsStack(BDAS)BDAS是UCBerkeleyAMPLab开源的通用并行计算框架开发语言ScalaScala是一种函数式面向对象语言，它融汇了许多前所未有的特性，而同时又运行于JVM之上。Scala运行于Java平台〔Java虚拟机〕，并兼容现有的Java程序。它也能运行于JavaME,CLDC〔JavaPlatform,MicroEditionConnectedLimitedDeviceConfiguration〕上。还有另一.NET平台的实现，不过该版本更新有些滞后。商业公司Databricks11/29/202411

Spark11/29/202412

MLBaseMLBase是Spark生态圈的一局部，专注于机器学习，包含三个组件：MLlib、MLI、MLOptimizer。MLlib是Spark的分布式机器学习库。MLI提供特征提取和算法开发的API，引入更高层次的机器学习编程抽象。MLOptimizer致力于实现机器学习流水线建立任务的自动化。优化器解决了对包含在MLI和MLlib中的特征提取和机器学习算法的搜索问题。目前，MLOptimizer正在积极的开发过程中。11/29/202413

SparkRSparkR是AMPLab发布的一个R开发包，为ApacheSpark提供了轻量的前端。SparkR提供了Spark中弹性分布式数据集〔RDD〕的API，用户可以在集群上通过Rshell交互性的运行job。SparkR应该被看作是R版Spark的轻量级前端，这意味着它不会拥有像Scala或Java那样广泛的API，但它还是能够在R里运行Spark任务和操作数据。除了常见的RDD函数式算子reduce、reduceByKey、groupByKey和collect之外，SparkR也支持利用lapplyWithPartition对每个RDD的分区进行操作。AMPLab团队已经表现出了今后在SparkR中集成Spark?MLlib机器学习类库的浓厚兴趣，这样一来，算法可以无缝地并行运行而无需特别手动设定哪一局部的算法可以并行运行11/29/202414

Storm起源Storm是Twitter开源的一个的实时数据处理框架，它原来是由BackTy