原创力文档- 1、本文档共379页，可阅读全部内容。
- 2、原创力文档（book118）网站文档一经付费（服务费），不意味着购买了该文档的版权，仅供个人/单位学习、研究之用，不得用于商业用途，未经授权，严禁复制、发行、汇编、翻译或者网络传播等，侵权必究。
- 3、本站所有内容均由合作方或网友上传，本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺！文档内容仅供研究参考，付费前请自行鉴别。如您付费，意味着您自己接受本站规则且自行承担风险，本站不退款、不进行额外附加服务；查看《如何避免下载的几个坑》。如果您已付费下载过本站文档，您可以点击 这里二次下载。
- 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等，请点击“版权申诉”（推荐），也可以打举报电话：400-050-0827(电话支持时间：9:00-18:30)。
- 5、该文档为VIP文档，如果想要下载，成为VIP会员后，下载免费。
- 6、成为VIP后，下载本文档将扣除1次下载权益。下载后，不支持退款、换文档。如有疑问请联系我们。
- 7、成为VIP后，您将拥有八大权益，权益包括：VIP文档下载权益、阅读免打扰、文档格式转换、高级专利检索、专属身份标志、高级客服、多端互通、版权登记。
- 8、VIP文档为合作方或网友上传，每下载1次， 网站将根据用户上传文档的质量评分、类型等，对文档贡献者给予高额补贴、流量扶持。如果你也想贡献VIP文档。上传文档
查看更多
大数据Hadoop
存储与分析处理平台
建
设
方
案
目录
1HADOOP1
1.1概述1
1.1.1Hadoop能做什么1
1.2特点1
1.3软件设计2
1.3.1Hadoop中的文件格式2
1.3.2机架感知12
1.4HADOOP知识学习篇14
1.4.1Java接口14
1.4.2FileSystem总结1
1.4.3文件读取过程/文件写入过程4
1.4.4Hadoop均衡器1
1.4.5Hadoop存档2
1.4.6数据完整性3
1.4.7压缩4
1.4.8序列化【优点】6
1.4.9序列化框架14
1.4.10MapReduce过程中的序列化与反序列化43
1.4.11√HDFS数据结构53
1.4.12MapReduce框架55
1.4.13MapReduce工作机制70
1.4.14推测执行【优点】74
1.4.15重用JVM【优化】75
1.4.16IDS75
1.4.17输入格式75
1.4.18输出格式21
1.4.19计数器27
1.4.20√排序技术33
1.4.21全排序48
1.4.22√连接51
1.4.23DistributedCache58
1.4.24√作业链接65
1.4.25√默认的MapReduce作业66
1.4.26集群规范66
1.4.27网络拓扑[优点]67
1.4.28环境设置72
1.4.29守护进程的关键属性73
1.4.30安全性77
1.4.31安全模式77
1.4.32fsck工具77
1.4.33日常维护80
1.5HADOOP知识总结篇82
1.5.1Hadoop通信协议总结82
1.5.2通过日志掌握Hadoop运行过程（HDFS/MAPREDUCE）1
动点策划通过提供各行各业经典策划案例，策划思路，行业最新动态，旨在做好你的助手，为你正在谋划的事情提供框架思路或创作灵感。
文档评论（0）