网站大量收购独家精品文档,联系QQ:2885784924

sparkonyarn安裝配置手册.docx

  1. 1、本文档共4页,可阅读全部内容。
  2. 2、原创力文档(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
  3. 3、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载
  4. 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
查看更多
sparkonyarn安裝配置手册

ssh无密码登陆安装sshyum install openssh-server产生keyssh-keygen -t rsa -P Enter file in which to save the key (/root/.ssh/id_rsa):(按回车)使用keycat /root/.ssh/id_rsa.pub /root/.ssh/authorized_keys安装配置JDK解压tar -zxvf jdk-7u71-linux-x64.tar.gz打开全局变量配置文件vim /etc/profile在该文件末尾增加如下语句使配置生效source /etc/profile确认JDK安装成功安装配置hadoop解压tar -zxvf hadoop-2.2.0.tar.gz配置 hadoop-env.shcd /opt/hadoop-2.2.0/etc/hadoopvim hadoop-env.sh增加如下配置:在/etc/profile里增加如下配置:尤其最后两行,否则会导致启动错误。配置core-site.xmlcd /opt/hadoop-2.2.0/etc/hadoopvim core-site.xml增加如下配置还需增加如下配置,否则找不到库property namehadoop.native.lib/name valuetrue/value /property配置hdfs-site.xmlcd /opt/hadoop-2.2.0/etc/hadoopvim hdfs-site.xml增加如下配置配置mapred-site.xmlcd /opt/hadoop-2.2.0/etc/hadoopcp mapred-site.xml.template mapred-site.xmlvim mapred-site.xml增加如下配置使配置生效source hadoop-env.sh启动hadoop总是报如下错误WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable原因是apache官网提供的二进制包,里面的native库,是32位的,而服务器是64位的。下载Hadoop 2.2.0 源码包,并解压安装相关软件yum install lzo-devel zlib-devel gcc autoconf automake libtool ncurses-devel openssl-deve安装Maventar zxf apache-maven-3.0.5-bin.tar.gz -C /optvim /etc/profileexport MAVEN_HOME=/opt/apache-maven-3.0.5export PATH=$PATH:$MAVEN_HOME/binsource /etc/profile安装Anttar zxf apache-ant-1.9.3-bin.tar.gz -C /optvim /etc/profileexport ANT_HOME=/opt/apache-ant-1.9.3export PATH=$PATH:$ANT_HOME/binsource /etc/profile安装Findbugstar zxf findbugs-2.0.3.tar.gz -C /optvim /etc/profileexport FINDBUGS_HOME=/opt/findbugs-2.0.3export PATH=$PATH:$FINDBUGS_HOME/binsource /etc/profile安装protobuf$ tar zxf protobuf-2.5.0.tar.gz$ cd protobuf-2.5.0$ ./configure$ make$ sudo make install给hadoop打补丁最新的Hadoop 2.2.0 的Source Code 压缩包解压出来的code有个bug 需要patch后才能编译。否则编译hadoop-auth 会提示错误Patch: /jira/browse/HADOOP-10110下载下来后使用如下拷贝到hadoop目录下,使用如下命令打补丁patch –p0 HADOOP-10110.patch编译hadoopmvn package -DskipTests -Pdist,native -Dtar使用编译好的库替换原来的库rm -rf /opt/hadoop-2.2.0/lib/nativecp ./hadoop-dist/target/hadoop-2.2.0/li

文档评论(0)

bmdj + 关注
实名认证
内容提供者

该用户很懒,什么也没介绍

1亿VIP精品文档

相关文档