Hadoop、MPP技术介绍、对比和应用.doc

WORD格式 可编辑 专业知识 整理分享 WORD格式 可编辑 专业知识 整理分享 大数据技术介绍（Hadoop与MPP部分,包含与传统技术的区别） 大数据技术介绍（Hadoop与MPP部分,包含与传统技术的区别） 版本号： 版本号：1.0.0 专业知识 整理分享 目 录 TOC \o 1-3 \h \z \u HYPERLINK \l _Toc374019231 1 概述 PAGEREF _Toc374019231 \h 5 HYPERLINK \l _Toc374019232 1.1 大数据及大数据技术 PAGEREF _Toc374019232 \h 5 HYPERLINK \l _Toc374019233 1.2 引入大数据的意义 PAGEREF _Toc374019233 \h 5 HYPERLINK \l _Toc374019234 1.3 术语、定义和缩略语 PAGEREF _Toc374019234 \h 5 HYPERLINK \l _Toc374019235 2 大数据技术的引入 PAGEREF _Toc374019235 \h 6 HYPERLINK \l _Toc374019236 2.1 传统数据仓库数据特征 PAGEREF _Toc374019236 \h 7 HYPERLINK \l _Toc374019237 2.2 大数据技术应用场景 PAGEREF _Toc374019237 \h 8 HYPERLINK \l _Toc374019238 2.3 Hadoop与MPP与传统数据库技术对比与适用场景 PAGEREF _Toc374019238 \h 8 HYPERLINK \l _Toc374019239 3 Hadoop实施指导意见 PAGEREF _Toc374019239 \h 9 HYPERLINK \l _Toc374019240 3.1 应用场景 PAGEREF _Toc374019240 \h 9 HYPERLINK \l _Toc374019241 3.2 前期方案设计阶段的建议 PAGEREF _Toc374019241 \h 10 HYPERLINK \l _Toc374019242 3.2.1 对Hadoop软件选择的建议 PAGEREF _Toc374019242 \h 10 HYPERLINK \l _Toc374019243 3.2.2 所需硬件设备建议 PAGEREF _Toc374019243 \h 13 HYPERLINK \l _Toc374019244 3.2.3 组网方式建议 PAGEREF _Toc374019244 \h 15 HYPERLINK \l _Toc374019245 3.2.4 规划节点规模时需要考虑的因素 PAGEREF _Toc374019245 \h 18 HYPERLINK \l _Toc374019246 3.3 建设过程中的建议 PAGEREF _Toc374019246 \h 19 HYPERLINK \l _Toc374019247 3.3.1 对压缩的考虑 PAGEREF _Toc374019247 \h 19 HYPERLINK \l _Toc374019248 3.3.2 HBase设计 PAGEREF _Toc374019248 \h 20 HYPERLINK \l _Toc374019249 3.3.3 参数设置建议 PAGEREF _Toc374019249 \h 21 HYPERLINK \l _Toc374019250 3.3.4 系统调优 PAGEREF _Toc374019250 \h 26 HYPERLINK \l _Toc374019251 3.3.5 上线前注意事项 PAGEREF _Toc374019251 \h 31 HYPERLINK \l _Toc374019252 3.3.6 上线后效果评估 PAGEREF _Toc374019252 \h 32 HYPERLINK \l _Toc374019253 3.4 运维阶段的建议 PAGEREF _Toc374019253 \h 32 HYPERLINK \l _Toc374019254 3.4.1 任务调度 PAGEREF _Toc374