park1.2集群环境搭建(Standalone+HA) 4G内存5个节点也是蛮拼的.docVIP

Spark1.2集群环境搭建(Standalone+HA) 4G内存5个节点也是蛮拼的 准备工作： 1、笔记本4G内存 ，操作系统WIN7 （屌丝的配置） 2、工具VMware Workstation 3、虚拟机：CentOS6.4共五台 4、搭建好Hadoop集群( 方便Spark可从HDSF上读取文件，进行实验测试) 实验环境： Hadoop HA集群： Ip hostname role 30 SY-0130 ActiveNameNode 31 SY-0131 StandByNameNode 32 SY-0132 DataNode1 33 SY-0133 DataNode2 Spark HA集群： Ip hostname role 34 SY-0134 Master 30 SY-0130 StandBy Master 31 SY-0131 worker 32 SY-0132 worker 33 SY-0133 worker 实验环境仅作学习用，4G内存确实蛮拼的，资源非常有限。下周换上几台台式机作集群。 上述SY-0134是新克隆的虚拟机，作为Spark的环境中的Master，原属于Hadoop集群中的4个节点分别作为StandByMaster 和 Worker角色。 关于虚拟机环境设置、网络配置、Hadoop集群搭建参见 X