Linux下Nutch-1.0分布式配置.docVIP

Linux下Nutch-1.0集群配置 詹坤林 中科院研究生院信息学院 2010年5月 目 录 0 集群网络环境介绍 1 1 /etc/hosts文件配置 1 2 SSH无密码验证配置 2 2.1配置所有节点之间SSH无密码验证 2 3 JDK安装和Java环境变量配置 3 3.1 安装 JDK 1.6 3 3.2 Java环境变量配置 3 4 Nutch集群配置 3 5 Nutch集群启动 6 6 Nutch分布式爬虫 8 0 集群网络环境介绍 集群中所有节点均是Cent-OS系统，防火墙均禁用，sshd服务均开启；所有节点上均有一个名为nutch的用户，用户主目录是/home/nutch。 集群包含三个节点：1个namenode，2个datanode，节点之间局域网连接，可以相互ping通。节点IP地址和主机名分布如下： 32 gc03vm12 namenode 42 gc04vm12 datanode01 44 gc04vm14 datanode02 1 /etc/hosts文件配置 namenode节点上vi /etc/hosts，将所有节点的名字和IP地址写入其中，写入如下内容，注意注释掉行： 32 gc03vm12 42 gc04vm12 44 gc04vm14 # centos54 localhost