火龙果-Hadoop安装3.ppt

谢 谢！ * * 1.Lucene 是apache软件基金会一个开放源代码的全文检索引擎工具包，是一个全文检索引擎的架构，提供了完整的查询引擎和索引引擎，部分文本分析引擎。Lucene的目的是为软件开发人员提供一个简单易用的工具包，以方便的在目标系统中实现全文检索的功能，或者是以此为基础建立起完整的全文检索引擎。 2. Nutch是一个Java开源项目，拥有近十年的历史，从一开始的搜索引擎演变为如今的网络爬虫。在Nutch的进化过程中，产生了Hadoop、Tika和Gora三个Java开源项目。如今这三个项目都发展迅速，极其火爆，尤其是Hadoop，其已成为大数据和云计算的代名词。 * * * * * * * * * （2）免密码SSH设置 ?生成密钥对 $ ssh-keygen -t rsa ?一直按【Enter】键，按照默认的选项将生成的密钥对保存在.ssh/id_rsa文件中 ?进入.ssh目录 $ cp id_rsa.pub authorized_keys ?执行$ ssh localhost，可以实现用SSH 连接并且不需要输入密码 在Linux系统中安装Hadoop 将密钥对保存在.ssh/id.rsa文件中 在Linux系统中安装Hadoop （3）Hadoop运行 （a）格式化分布式文件系统 $ bin/hadoop namenode –format （b）启动Hadoop守护进程 $ bin/start-all.sh 成功执行后将会在本机上启动NameNode、DataNode、JobTracker、TaskTracker和Secondary NameNode 5个新的Java进程 （c）运行WordCount实例 $ bin/hadoop dfs –copyFromLocal input in $ bin/hadoop jar hadoop-mapred-examples-0.20.2.jar wordcount in out 查看Hadoop分布式文件系统上数据处理的结果 $ bin/hadoop dfs -cat out/* 把输出文件从Hadoop分布式文件系统复制到本地文件系统查看 $ bin/hadoop dfs -get out output $ cat output/* （d） 停止Hadoop守护进程。最后需要停止Hadoop守护进程 $ bin/stop-all.sh 3）完全分布式模式 （1）配置NameNode和DataNode （2）在所有的机器上建立相同的用户grid $ useradd -m grid $ passwd grid （3）SSH配置 在所有机器上建立.ssh目录 $ mkdir .ssh 在ubuntunamenode上生成密钥对 $ ssh-keygen -t rsa 在Linux系统中安装Hadoop 配置ubuntunamenode的/etc/hosts ubuntudata1和ubuntudata2的hosts配置 在Linux系统中安装Hadoop （3）SSH配置 然后一直按【Enter】键，就会按照默认的选项将生成的密钥对保存在.ssh/id_rsa文件中 $cd ~/.ssh $cp id_rsa.pub authorized_keys $scp authorized_keys ubuntudata1:/home/grid/.ssh $scp authorized_keys ubuntudata2:/home/grid/.ssh 最后进入所有机器的.ssh目录，改变authorized_keys文件的许可权限 $chmod 644 authorized_keys （4）在所有机器上配置Hadoop 在ubuntunamenode上配置 （a）编辑core-site.xml、hdfs-site.xml和mapred-site.xml （b）编辑conf/masters，修改为master的主机名，每个主机名一行，此外即为ubuntunamenode （c）编辑conf/slaves，加入所有slaves的主机名，即