海量数据处理——hadoop.pptxVIP

海量数据处理——Hadoop;Hadoop 诞生于大搜索应用;海量数据应用发展趋势;国内外那些企业用Hadoop?;Hadoop生态系统;Hadoop生态系统;Hadoop-Ecosystem;诉求: 海量数据需要及时分析和处理。[速度] 海量数据需要深入分析和挖掘。[深度] 数据需要长期保存 [数据资产] Data processed by Google every month: 400 PB … in 2007 问题： 磁盘IO成为一种瓶颈,而非CPU资源。 网络带宽是一种稀缺资源 硬件故障成为影响稳定的一大因素 传统分布式编程模型[MPI],需要处理大量异常问题。;MapReduce+HDFS思想: 尽可能移动计算到数据端,而非移动数据到计算端。 硬件和组件的故障是一种常态。 ;为何需要 MapReduce|HDFS;为何需要 MapReduce|HDFS;Hadoop解决了什么样的根本问题?Hadoop为何会比数据库快? 本地化IO?;Hadoop 前的数据仓库流程;Hadoop后的数据仓库流程;基于hadoop的数据平台总体架构;磁盘IO,网络IO ？;名词解释;Hadoop核心模块介绍;HDFS: 开发动机;HDFS 设计原则;HDFS能做什么？;HDFS不适合做什么？;HDFS 基本结构;HDFS 基本结构;HDFS 分片复制;HDFS 分片复制;Task和HDFS交互;NameNode(NN);NameNode(NN)和Secondary NameNode(SNN);NameNode;DataNode（DN）;Block的副本放置策略;再说Block;数据损坏(corruption)处理;HDFS文件读取;HDFS文件写入;MapReduce基本流程;MapReduce基本流程;Hadoop MapReduce基本工作过程;MapReduce核心组件;Hadoop MapReduce主要组件;Hadoop MapReduce主要组件;Hadoop MapReduce主要组件;Hadoop MapReduce主要组件;Hadoop MapReduce主要组件;Hadoop MapReduce主要组件;Hadoop MapReduce主要组件;Hadoop MapReduce主要组件;Hadoop MapReduce主要组件;程序执行时的容错处理与计算性能优化; 性能优化包括时间性能和空间性能。衡量的指标是，能在正确完成功能的基础上，使执行的时间尽量短，占用的空间尽量小。 1.输入的文件尽量采用大文件，避免使用小文件 如果输入的小文件数量多，可以将众多的小文件合并成一个大文件，然后在以大文件作为输入。 2.考虑压缩文件 IO是数据交换的瓶颈之一。一个办法是增加内存和缓存；另一个办法就是在map的输出阶段进行压缩。可以通过将press.map.output属性设置为true，同时还可以设置pression.code设置压缩格式。 3.修改配置文件的相关属性 属性mapred.tasktracker.map.tasks.maximum和mapred.tasktracker.reduce.tasks.maximum的默认值都是2，而较为理想的数值是10-100之间，因此可以将其修改为合适的值，使得map和reduce的任务数增加。 ;Hadoop未来发展;谢谢大家！