大数据Hadoop存储与分析处理平台建设方案.pdf

大数据Hadoop

存储与分析处理平台

建

设

方

案

目录

1HADOOP1

1.1概述1

1.1.1Hadoop能做什么1

1.2特点1

1.3软件设计2

1.3.1Hadoop中的文件格式2

1.3.2机架感知12

1.4HADOOP知识学习篇14

1.4.1Java接口14

1.4.2FileSystem总结1

1.4.3文件读取过程/文件写入过程4

1.4.4Hadoop均衡器1

1.4.5Hadoop存档2

1.4.6数据完整性3

1.4.7压缩4

1.4.8序列化【优点】6

1.4.9序列化框架14

1.4.10MapReduce过程中的序列化与反序列化43

1.4.11√HDFS数据结构53

1.4.12MapReduce框架55

1.4.13MapReduce工作机制70

1.4.14推测执行【优点】74

1.4.15重用JVM【优化】75

1.4.16IDS75

1.4.17输入格式75

1.4.18输出格式21

1.4.19计数器27

1.4.20√排序技术33

1.4.21全排序48

1.4.22√连接51

1.4.23DistributedCache58

1.4.24√作业链接65

1.4.25√默认的MapReduce作业66

1.4.26集群规范66

1.4.27网络拓扑[优点]67

1.4.28环境设置72

1.4.29守护进程的关键属性73

1.4.30安全性77

1.4.31安全模式77

1.4.32fsck工具77

1.4.33日常维护80

1.5HADOOP知识总结篇82

1.5.1Hadoop通信协议总结82

1.5.2通过日志掌握Hadoop运行过程（HDFS/MAPREDUCE）1