CDH+MAVEN集群开发解读.ppt

CDH集群开发环境构建及使用 开发环境构建 Maven介绍 Windows下搭建Maven运行环境 Eclipse中构建Maven项目 Eclipse中搭建基于Maven的Hadoop项目 Eclipse中提交MR任务到CDH集群 开发环境构建 Maven介绍： Apache Maven，是一个Java的项目管理及自动构建工具，由Apache软件基金会所提供。基于项目对象模型（缩写：POM）概念，Maven利用一个中央信息片断能管理一个项目的构建、报告和文档等步骤。曾是Jakarta项目的子项目，现为独立Apache项目。 maven的开发者在他们开发网站上指出，maven的目标是要使得项目的构建更加容易，它把编译、打包、测试、发布等开发过程中的不同环节有机的串联了起来，并产生一致的、高质量的项目信息，使得项目成员能够及时地得到反馈。maven有效地支持了测试优先、持续集成，体现了鼓励沟通，及时反馈的软件开发理念。如果说Ant的复用是建立在”拷贝–粘贴”的基础上的，那么Maven通过插件的机制实现了项目构建逻辑的真正复用。 开发环境构建 Windows下搭建Maven运行环境 1. windows上安装JDK并配置JAVA_HOME； 2. 下载Maven: /download.cgi （1）下载maven的xxx-bin.zip文件，我这里下载的是 ：apache-maven-3.3.3-bin.zip ； （2）在Windows下解压到任意目录，如我在服务器上解压放在： F:\too\apache-maven-3.3.3； 3. 配置环境变量： （1）在系统环境变量下新建变量MAVEN_HOME,它的值是第1步中解压的目录，如我在服务器上配置的环境变量是： MAVEN_HOME=F:\toot\apache-maven-3.3.3； （2）在系统环境变量PATH中增加MAVEN，在原来的PATH路径后增加：　;%MAVEN_HOME%\bin ； 　4．测试MAVEN安装是否成功： 打开Windows命令行输入：mvn -version看是否显示对应的版本即可； 开发环境构建 Eclipse中构建Maven项目 1. 修改Eclipse中Maven的配置： 打开eclipse，找到WindowPreferenceMavenInstallations，如图所示： 点击add按钮，选择Maven的安装目录，点击确定。如图所示： 开发环境构建 Eclipse中构建Maven项目： 查看Maven下的User Settings选项是否更改为安装路径下的值：如图所示： 开发环境构建 Eclipse中构建Maven项目 2. 新建Maven项目：如图所示： 点击Next，如图： 开发环境构建 Eclipse中构建Maven项目 点击next: 填写Group ID,Artifact Id, Name; 点击finish。在工作空间中创建了一个项目名为Maven_BigData的Maven项目。如图： 开发环境构建 Eclipse中构建基于Maven的hadoop项目 （1）下载配置core-site.xml，hdfs-site.xml,mapred-site.xml,yarn-site.xml文件。登陆CDH集群环境：45:7180，输入用户名admin，密码admin登陆后，点击YARN： 点击后打开yarn的资源管理界面，点击操作，下载客户端配置，下载yarn-clientconfig.zip，解压该文件，获取相应的配置文件； 开发环境构建 Eclipse中构建基于Maven的hadoop项目 （2）将上面解压的文件放到Maven_BigData项目的resources目下，如图： 开发环境构建 Eclipse中构建基于Maven的hadoop项目 （3）编辑pom.xml文件 打开Maven_BigData项目中的pom.xml文件，文件中添加： repositories !-- cloudera 资源库 -- rep