原创力文档- 1、原创力文档（book118）网站文档一经付费（服务费），不意味着购买了该文档的版权，仅供个人/单位学习、研究之用，不得用于商业用途，未经授权，严禁复制、发行、汇编、翻译或者网络传播等，侵权必究。。
- 2、本站所有内容均由合作方或网友上传，本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺！文档内容仅供研究参考，付费前请自行鉴别。如您付费，意味着您自己接受本站规则且自行承担风险，本站不退款、不进行额外附加服务；查看《如何避免下载的几个坑》。如果您已付费下载过本站文档，您可以点击 这里二次下载。
- 3、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等，请点击“版权申诉”（推荐），也可以打举报电话：400-050-0827(电话支持时间：9:00-18:30)。
- 4、该文档为VIP文档，如果想要下载，成为VIP会员后，下载免费。
- 5、成为VIP后，下载本文档将扣除1次下载权益。下载后，不支持退款、换文档。如有疑问请联系我们。
- 6、成为VIP后，您将拥有八大权益，权益包括：VIP文档下载权益、阅读免打扰、文档格式转换、高级专利检索、专属身份标志、高级客服、多端互通、版权登记。
- 7、VIP文档为合作方或网友上传，每下载1次， 网站将根据用户上传文档的质量评分、类型等，对文档贡献者给予高额补贴、流量扶持。如果你也想贡献VIP文档。上传文档
查看更多
Hadoop数据分析平台 第11周
2013.01.08
DATAGURU专业数据分析网站黄志洪
法律声明
【声明】本视频和幻灯片为炼数成金网络课程的教
学资料，所有资料只能在课程内使用，不得在课
程以外范围散播，违者将可能被追究法律和经济
责任。
课程详情访问炼数成金培训网站
2013.01.08
DATAGURU专业数据分析网站黄志洪 2
完全分布式模式的安装和配置
配置hosts文件
建立hadoop运行账号
配置ssh免密码连入
下载并解压hadoop安装包
配置namenode ，修改site文件
配置hadoop-env.sh
配置masters和slaves文件
向各节点复制hadoop
格式化namenode
启动hadoop
用jps 检验各后台进程是否成功启动
2013.01.08
DATAGURU专业数据分析网站黄志洪 3
Hadoop大集群实施
设备选型
是否使用虚拟机？
使用DNS代替hosts文件
使用NFS实现密钥共享
利用脚本复制hadoop——awk技巧
2013.01.08
DATAGURU专业数据分析网站黄志洪 4
DNS
Linux下使用bind
2013.01.08
DATAGURU专业数据分析网站黄志洪 5
NFS
网络文件系统
《Hadoop权威指南》第266页
2013.01.08
DATAGURU专业数据分析网站黄志洪 6
用awk生成脚本的技巧
强大的武器：awk
怎样使用awk
生成脚本的技巧
2013.01.08
DATAGURU专业数据分析网站黄志洪 7
云计算是什么？
相关软硬件厂商（争先恐后状）：我的产品就是云计算
不相关软硬件厂商（争风吃醋状）：云计算不就是一根网
线加上计算机嘛
政府官员：云计算就是超级计算机
广大围观者：云计算就是集群？Or Hadoop ？Or
Openstack ？Or Vmware ？Or … ？网格和云计算有什么
差别？
2013.01.08
DATAGURU专业数据分析网站黄志洪 8
云计算是服务模式和拥有模式的革命
云计算是服务模式 ：它不是新技术，
更准确来说不应称之为技术，它是在
一些关键技术日趋成熟后催生的一种
新的服务模式
云计算通过集中拥有 ，使到用户能得
到其本身无法得到的服务，或是以更
低成本获得相同的服务，降低拥有成
本是云计算的核心价值之一
云计算项目，必先考虑服务模式和盈
利模式的问题，其次才是投资和技术
2013.01.08
DATAGURU专业数据分析网站黄志洪
文档评论（0）