大数据实战应用-datamininglab.pdfVIP

大数据实战应用 Presented by Ruizhi-Wu Outline (1)大数据平台基本框架 (2)Google (3)Hadoop (4)HDFS (5)Mapreduce (6)Hadoop各个组件简介 (7)Spark 大数据处理平台框架 数据分析应用 数据服务应用 BI应用 数据消费应用 服务层 分析层 分布式流处理 分布式批处理 管理层 数据、元数据管理 采集层 存储层 大数据平台架构 Google 的核心技术 Google 的十个核心技术，而且可以分为四大类： • 分布式基础设施：GFS、Chubby 和 Protocol Buffer。 • 分布式大规模数据处理：MapReduce 和 Sawzall 。 • 分布式数据库技术：BigTable 和数据库 Sharding 。 • 数据中心优化技术：数据中心高温化、12V电池和 服务器整合。 Google 的核心技术 • GFS 的架构图 Google 的核心技术 • GFS 的架构图 Google 的核心技术 • 分布式大规模数据处理MapReduce 在Google数据中心会有大规模数据需要处理， 比如被网络爬虫（Web Crawler ）抓取的大量网 页等。由于这些数据很多都是PB级别，导致处 理工作不得不尽可能的并行化，而Google为了 解决这个问题，引入了 MapReduce这个编程模 型，MapReduce是源自函数式语言，主要通过 Map （映射）和Reduce （化简）这两个步骤 来并行处理大规 模的数据集。 Google VS Hadoop Hadoop生态系统 Hadoop Intel大数据解决方案 IBM大数据解决方案 Hadoop的特点 扩容能力（Scalable ）：能可靠地（reliably）存 储和处理千兆字节（PB）数据。 成本低（Economical）：可以通过普通机器组成 的服务器群来分发以及处理数据。这些服务器群 总计可达数千个节点。 高效率（Efficient）：通过分发数据，hadoop可 以在数据所在的节点上并行地（parallel）处理它 们，这使得处理非常的快速。 可靠性（Reliable）：hadoop能自动地维护数据 的多份复制，并且在任务失败后能自动地重新部 署（redeploy）计算任务。 HDFS • Hadoop Distributed File System – Hadoop Distributed File System (HDFS) is the primary storage system used by Hadoop applications. HDFS creates multiple replicas of data blocks and distributes them on compute nodes throughout a cluster to enable reliable, extremely rapid computations. HDFS简介 • HDFS为了做到可靠性（reli