海量数据处须理——hadoop.pptxVIP

海量数据处理——Hadoop;Hadoop 诞生于大搜索应用;海量数据应用发展趋势;国内外那些企业用Hadoop?;Hadoop生态系统;Hadoop生态系统;Hadoop-Ecosystem;诉求: 海量数据需要及时分析和处理。[速度] 海量数据需要深入分析和挖掘。[深度] 数据需要长期保存 [数据资产] Data processed by Google every month: 400 PB … in 2007 问题： 磁盘IO成为一种瓶颈,而非CPU资源。 网络带宽是一种稀缺资源 硬件故障成为影响稳定的一大因素 传统分布式编程模型[MPI],需要处理大量异常问题。;MapReduce+HDFS思想: 尽可能移动计算到数据端,而非移动数据到计算端。 硬件和组件的故障是一种常态。 ;为何需要 MapReduce|HDFS;为何需要 MapReduce|HDFS;Hadoop解决了什么样的根本问题?Hadoop为何会比数据库快? 本地化IO?;Hadoop 前的数据仓库流程;Hadoop后的数据仓库流程;基于hadoop的数据平台总体架构;磁盘IO,网络IO ？;名词解释;Hadoop核心模块介绍;HDFS: 开发动机;HDFS 设计原则;HDFS能做什么？;HDFS不适合做什么？;HDFS 基本结构;HDFS 基本结构;HDFS 分片复制;HDFS