原创力文档- 1、本文档共38页，可阅读全部内容。
- 2、原创力文档（book118）网站文档一经付费（服务费），不意味着购买了该文档的版权，仅供个人/单位学习、研究之用，不得用于商业用途，未经授权，严禁复制、发行、汇编、翻译或者网络传播等，侵权必究。
- 3、本站所有内容均由合作方或网友上传，本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺！文档内容仅供研究参考，付费前请自行鉴别。如您付费，意味着您自己接受本站规则且自行承担风险，本站不退款、不进行额外附加服务；查看《如何避免下载的几个坑》。如果您已付费下载过本站文档，您可以点击 这里二次下载。
- 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等，请点击“版权申诉”（推荐），也可以打举报电话：400-050-0827(电话支持时间：9:00-18:30)。
- 5、该文档为VIP文档，如果想要下载，成为VIP会员后，下载免费。
- 6、成为VIP后，下载本文档将扣除1次下载权益。下载后，不支持退款、换文档。如有疑问请联系我们。
- 7、成为VIP后，您将拥有八大权益，权益包括：VIP文档下载权益、阅读免打扰、文档格式转换、高级专利检索、专属身份标志、高级客服、多端互通、版权登记。
- 8、VIP文档为合作方或网友上传，每下载1次， 网站将根据用户上传文档的质量评分、类型等，对文档贡献者给予高额补贴、流量扶持。如果你也想贡献VIP文档。上传文档
查看更多
hadoop深度实战
1 Linux虚拟环境搭建 3
1.1 安装VmWare 3
1.2 安装linux虚拟机 3
1.3 配置Linux虚拟机 3
1.3.1 用root用户登录 3
1.3.2 开启ssh服务 3
1.3.3 开启ftp服务 3
1.3.4 开启telnet服务 4
2 在Linux上安装配置Hadoop 5
2.1 安装JDK1.6 5
2.1.1 检查jdk当前版本 5
2.1.2 下载和安装JDK 5
2.1.3 配置环境变量 5
2.2 配置ssh免密码登录 6
2.2.1 检查ssh当前版本 6
2.2.2 安装ssh 6
2.2.3 配置为可以无密码登录本机 6
2.2.4 验证ssh是否安装成功 6
2.3 创建hadoop用户 6
2.3.1 创建用户 6
2.3.2 配置环境变量 6
2.3.3 可用性设置 7
2.4 安装伪分布式hadoop 7
2.4.1 安装hadoop 7
2.4.2 配置hadoop 7
2.4.3 格式化hdfs 8
2.4.4 启动hdfs和mapreduce 9
2.4.5 验证是否安装成功 9
2.5 安装集群hadoop 9
2.5.1 集群规划 9
2.5.2 修改通用配置文件 9
2.5.3 克隆节点 10
2.5.4 修改特性配置文件 11
2.5.5 配置ssh免密码登录 11
2.5.6 生效配置文件 12
2.5.7 格式化hdfs 12
2.5.8 启动集群hadoop 13
2.5.9 检查启动结果 13
3 MapReduce小试牛刀 13
3.1 试用hdfs文件系统 13
3.2 第一个hello word程序 14
3.3 一个单表关联的例子 17
4 在Linux上安装Hive 20
4.1 下载并解压 20
4.2 修改hive环境变量 21
4.3 检查安装情况 21
4.4 配置hive-site.xml 21
4.5 启动hive 22
5 Hive小试牛刀 22
5.1 创建一个内部表 23
5.2 向表中load数据 23
5.3 查询结果 24
5.4 JDBC驱动连接hive操作 24
5.4.1 启动远程服务接口 24
5.4.2 编写jdbc客户端代码 24
5.4.3 编译 25
5.4.4 执行 25
6 在Linux上安装Hbase 26
6.1 下载并解压 26
6.2 替换hadoop-core包 26
6.3 修改相关环境变量 27
6.4 伪分布式 27
6.4.1 配置hbase-site.xml 27
6.4.2 启动hbase 28
6.4.3 验证运行情况 28
6.4.4 停止hbase 29
7 Hbase小试牛刀 29
7.1 编写hbase java API程序 29
7.2 编译 34
7.3 运行 34
8 在Linux下安装ZooKeeper 35
8.1 下载并解压 35
8.2 修改相关环境变量 35
8.3 单机下安装zookeeper 35
8.3.1 配置zoo.cfg 35
8.3.2 启动ZooKeeper 36
8.3.3 验证启动情况 37
9 常用问题 37
9.1 版本匹配 37
9.2 解除安全模式 37
9.3 File /user/hadoop could only be replicated to 0 nodes, instead of 1 37
Linux虚拟环境搭建
安装VmWare
安装完可以看到vmnet1和vmnet8两块虚拟网卡
安装linux虚拟机
安装好以后检查应该可以上外网
配置Linux虚拟机
用root用户登录
先用sudo passwd root改root密码,
然后在系统的登录窗口选项中设置允许本地管理员登陆就可以了
而Ubuntu9.10不需要在登录窗口中设置，目前我用这个版本也不需要设置
开启ssh服务
本机开放SSH服务就需要安装openssh-server
sudo apt-get install openssh-server
然后确认sshserver是否启动了：
如果看到sshd那说明ssh-server已经启动了。
如果没有则可以这样启动：sudo /etc/init.d/ssh start
开启ftp服务
sudo apt-get install vsftpd
修改etc/vsftpd.conf配置文件
write_enable=YES #允许上传
anon_upload_enable=YES #允许匿名上传
anon_mkdir_write_enable=YES #允许匿名用户建立文件夹
local_umask=022 #更改上传文件的权限，777-022=755
重启
sudo /etc/init.d/vsftpd
文档评论（0）