大数据云计算 公开课spark在windows上以local模式运行.pdfVIP

北京尚学堂科技有限公司

spark在windows上以local模式运行

1.创建项目

创建一个scala项目选择sbt的方式

或者scala也行

但是要注意选择scala的SDK

2.添加依赖

添加相应的spark依赖，一个assembly包含所有了

-2-

北京尚学堂科技有限公司

3.下载解压hadoop

下载解压spark包对应的hadoop

4．添加winutils.exe

从/files/yjmyzz/hadoop2.6%28x64%29V0.2.zip下载包，解压

将里面东西全部拷贝到hadoop目录的bin下面

5．配置环境变量

配置HADOOP_HOME的环境变量，然后重启idea

-3-