大数据平台技术实施与运维规范-Hadoop分册.pdf

下载文档

75
0
约2.51万字
约 30页
2021-03-08 发布于山东
举报
版权申诉
保障服务

大数据平台技术实施与运维规范-Hadoop分册.pdf

1、本文档共30页，可阅读全部内容。
2、原创力文档（book118）网站文档一经付费（服务费），不意味着购买了该文档的版权，仅供个人/单位学习、研究之用，不得用于商业用途，未经授权，严禁复制、发行、汇编、翻译或者网络传播等，侵权必究。
3、本站所有内容均由合作方或网友上传，本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺！文档内容仅供研究参考，付费前请自行鉴别。如您付费，意味着您自己接受本站规则且自行承担风险，本站不退款、不进行额外附加服务；查看《如何避免下载的几个坑》。如果您已付费下载过本站文档，您可以点击这里二次下载。
4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等，请点击“版权申诉”（推荐），也可以打举报电话：400-050-0827(电话支持时间：9:00-18:30)。

大数据平台技术实施与运维规范 Hadoop 分册 1 目录 1 产品概述 6 1.1 组件描述 6 1.1.1 Zookeeper 6 1.1.2 HDFS 7 1.1.3 Mapreduce 8 1.1.4 Yarn 12 1.1.5 Hbase 14 1.1.6 Hive 15 1.1.7 Sqoop 18 1.1.8 Spark 19 1.1.9 Mahout 20 1.1.10 Rhadoop 20 2 系统环境 20 2.1 网络配置 20 2.1.1 网卡速率检测 20 2.1.2 网卡绑定方法 2 1 2.2 创建用户 24 2.3 配置 SSH 互信 24 2.4 防火墙 27 2.5 Selinux 28 2.6 时间同步服务 29 2.7 修改最大进程数和句柄数 32 2.8 修改主机名文件 33 3 安装部署 33 2 3.1 安装软件包配置环境变量 33 3.1.1 软件包 33 3.1.2 环境变量 36 3.1.3 hadoop 相关服务要求 37 3.1.4 相关磁盘目录的创建 38 3.2 配置文件修改及说明 39 3.2.1 zookeeper 39 3.2.2 HDFS 4 1 3.2.3 yarn 48 3.2.4 hive 60 3.2.5 sqoop 64 3.2.6 hbase 69 3.2.7 spark 75 3.3 启动各相关服务 78 3.3.1 zookeeper 78 3.3.2 HDFS