大数据blinkdb配置.docxVIP

本攻略基于版本是Spark 0.5 和Mesos 0.9，服务器是Redhat?Enterprise 6.1 32位，其它服务器的命令可能会稍微有所区别安装Spark安装Mesos启动Mesos启动Spark On Mesos集群部署1、安装Spark1.1 安装Java推荐版本是JDK1.6.0 u18,具体下载安装过程就不说了，最后一定要设定JAVA_HOME，这个是后面步骤，尤其是mesos安装必须jre-7u25-linux-x64.tar.gzcp –rf jre1.7.0_25/usr/lib/?vi /etc/profileexport JAVA_HOME=/usr/lib/jre1.7.0_25export PATH=$PATH:$JAVA_HOME/bin?vi /etc/profileexport JAVA_HOME=/usr/lib/jre1.7.0_21export PATH=$PATH:$JAVA_HOME/binexport CLASSPATH=.:%JAVA_HOME%/lib/dt.jar:%JAVA_HOME%/lib/tools.jarsource /etc/profilevi .bashrcJAVA_HOME=/usr/lib/jre1.7.0_21JAVA_BIN=/usr/lib/jre1.7.0_21/binexport JAVA_HOME JAVA_BIN1.2 安装Scalawget?/files/archive/scala-2.9.3.tgztar -zxvf scala-2.9.3.tgzmv scala-2.9.3 /usr/libexport SCALA_HOME=/usr/lib/scala-2.9.3export PATH=$PATH:$SCALA_HOME/bin/1.3 安装Sparkwget -O mesos-spark-v0.5.0-0.tar.gz /mesos/spark/tarball/v0.5.0tar -xzvf mesos-spark-v0.5.0-0.tar.gzmv mesos-spark-0472cf8 sparkcd sparksbt/sbt compile至此，Spark的基本安装已经完毕，可以尝试用本地模式运行./run spark.examples.SparkPi local看到正确的Pi结果，表示Spark安装第一步完成，本地模式运行OK2、安装MesosMesos 0.9安装，必须具备下列条件：glibc 2.9（必须2.9以上）gcc-c++ 4.1python 2.6python-develcppunit-devellibtoolRedhat 6上述条件基本上已经具备了，Redhat 5的话，glibc有可能低于2.5，必须升级，才能完成mesos的编译安装，否则就别折腾了，洗洗睡吧：）wget /~benh/mesos-0.9.0-incubating-RC3/mesos-0.9.0-incubating.tar.gztar zxvf mesos-0.9.0-incubating.tar.gzcd mesos-0.9.0mkdir buildcd build../configure --with-python-headers=/usr/include/python2.6 --with-java-home=$JAVA_HOME --with-java-headers=$JAVA_HOME/include --with-webui --with-included-zookeeper --prefix=/usr/local/mesosmakemake install祈祷吧，一切顺利的话，mesos就会被安装到/usr/local/mesos下,最后关键一步，设置MESOS_HOMEexport MESOS_HOME=/usr/local/mesos3、启动Mesos手工模式启动：3.1 启动Mastercd /usr/local/mesos(sbin/mesos-master –log_dir=/usr/local/mesos/logs ) 出现下面的提示Master就成功Starting Mesos masterMaster started on ***:5050Master ID: ***Elected as master!Loading webui script at ‘/usr/local/new_mesos/share/mesos/webui/master/webui.py’Bottle server starting up (using WSGIRefServer())…Listening on :8080/Use