精通Spark集群搭建与测试.docxVIP

精通Spark集群搭建与测试 电脑配置最好i5+ 内存最少8G.安装 VMware Workstation 软件 推荐官方下载最新版，下载地址： s://my.vmware /cn/web/vmware/details?downloadGroup=WKST-1210-WINproductld=524rPld=9763 @ VMware WorkstationFile Edit View VM Tabs Helpd 口口 2.运行VMware Workstation,新建3台虚拟机，并安装Ubuntu操作系统Ubuntu 下载土也址: :// /download/alterTiative-downloads 我用的 ubuntu-14.04.5-desktop-amd64.iso 需要配置虚拟机使之能够上网，在这里我们采用网络地址转换即NAT的方式，与宿主机共 享IP上网: 注1：可以先装好一台机器，然后通过VMware的克隆功能生成另外两台。 注2：安装完系统后，为了能从宿主机与虚拟机互相COPY文件，也为了能使虚拟机全屏 显示，推荐安装VMwareTools,方法如下： tar -xzvf VMwareTools-9.6.0-1294478.tar.gzcd vmware-tools-distrib/ c.sudo 7vmware-install.pld.然后一路回车即可 e.由于版本不同操作可能不同，百度Ubuntu安装Tools即可3.为了简化后续操作中的权限问题，我们在这里配置为root账户登录系统，方法如下： a.终端进入root用户权限模式：命令sudo-sb.命令 gedit /etc/lightdm/lightdm.conf c.最后一行添加： greeter-show-manual-login=trueallow-guest=false namehadoop.tmp.dir/namevalue/usr/local/hadoop/hadoop-2.6.4/tmp/value descriptionA base for other temporary directories/description/property propertynamehadoop.native.Iib/name valuetrue/value descriptionShould native hadoop libraries, if present, be used./description /property/configuration h.修改9?皿11(^5?5呢3(011,以下是最小配置，更详细的信息可以参考官网： ://hadoop?apache?org/docs/stable/hadoop?proiect?dist/hadoop?hdfs/hdfs?defa ult.xmlgedit hdfs-site.xml: configurationproperty namedfs.replication/namevalue2/value /propertyproperty name.dir/namevalue/usr/local/hadoop/hadoop-2.6.4/dfs/name/value /propertyproperty namedfs.datanode.data.dir/namevalue/usr/local/hadoop/hadoop-2.6.4/dfs/data/value /propertyconfiguration 注：这里指定的 .dir 与 dfs.datanode.data.dir 假设不存在的话， 后续start-dfs时会报错: i.修改gedit mapresite.xml,以下是最小配置，更详细的信息可以参考官网: :〃 hadoop. apache. orq/docs/stable/hadoop-proiect?dist/hadoop-hdfs/hdf s-default.xml注：MRv1的Hadoop没有使用yam作为资源管理器，其配置如下: gedit mapred-site.xml : (without yarn) configurationproperty namemapred.job.tracker/namevaluemaster:9001 /value /property/configuration ****MRv2的hadoop使用yarn作为资源管理器,其配置如下: vim mapred-site.xml : (with yarn)configuration propertyname/name valueyarn/value/pro