Hadoop2.6中配置Mahout0.10.0.docVIP

Hadoop 2.6 + Spark 1.2.1中安装和配置Mahout 0.10.0 一、下载Mahout /dist/mahout/ 二、解压 （1）使用命令：tar -zxvf mahout-distribution-0.9.tar.gz 或者使用右键菜单解压 （2）将解压后的文件mahout-distribution-0.9移动到/home/hadoop下 三、配置环境变量 3.1、配置Mahout环境变量 (1)切换到root用户： 输入命令su 输入root用户密码 （2）打开配置文件 输入命令 vim /etc/profile，按键盘a字母键，开启编辑模式，在文件末尾加上： # set java environment export JAVA_HOME=/usr/lib/jvm/java-1.7.0-openjdk-1-.el7.x86_64 export JRE_HOME=/usr/lib/jvm/java-1.7.0-openjdk-1-.el7.x86_64/jre export CLASSPATH=.:$CLASSPATH:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib export PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin # set hadoop environment export HADOOP_HOME=/usr/hadoop export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin # set spark environment export SCALA_HOME=/usr/scala/scala-2.11.6 export PATH=$PATH:$SCALA_HOME/bin export SPARK_HOME=/opt/spark-1.2.1-bin-hadoop2.4 export MASTER=spark://99:7077 export PATH=$PATH:$SPARK_HOME/bin # set mahout environment export MAHOUT_HOME=/home/hadoop/mahout/mahout-distribution-0.9 export MAHOUT_CONF_DIR=$MAHOUT_HOME/conf export MAHOUT_LOCAL= export PATH=$PATH:$MAHOUT_HOME/bin export CLASSPATH=$CLASSPATH:$MAHOUT_HOME/lib （3）保存配置 按下ESC键，退出编辑模式，并输入命令 :wq! 按Enter键，保存配置并关闭文件 输入命令 source /etc/profile使配置立即生效 （4)输入命令vim /home/hadoop/.bashrc，同样在末尾加上（2）中添加的内容，保存配置并退出， 利用命令source /home/hadoop/.bashrc使配置立即生效 四、验证Mahout是否安装成功 切换到hadoop用户，执行命令mahout。若列出一些算法，则成功，如图： 五、使用Mahout 之入门级使用（运行于Hadoop集群） 5.1、启动Hadoop 5.2、下载测试数据 /ml/databases/synthetic_control/链接中的synthetic_control.data 5.3、上传测试数据 (1)在HDFS文件系统中创建文件夹 hadoop fs -mkdir /user hadoop fs -mkdir /user/hadoop hadoop fs -mkdir /user/hadoop/testdata (2)上传测试数据到Hadoop文件系统中 hadoop fs -put /home/hadoop/Downloads/synthetic_control.data /user/hadoop/testdata （其他测试用例可参考/users/clustering/clustering-of-synthetic-control-data.html） 5.4 使用Mahout中的kmeans聚类算法，执行命令： mahout org.apache.mahout.clustering.syntheti