- 1、本文档共7页,可阅读全部内容。
- 2、原创力文档(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
- 3、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载。
- 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
查看更多
孟朝霞
常见问题及解决方案1、导包容易出错。尤其Text和CombineTextInputFormat。2、Mapper中第一个输入的参数必须是LongWritable或者NullWritable,不可以是IntWritable. 报的错误是类型转换异常。3、java.lang.Exception: java.io.IOException: Illegal partition for(4),说明Partition和ReduceTask个数没对上,调整ReduceTask个数。4、如果分区数不是1,但是reducetask为1,是否执行分区过程。答案是:不执行分区过程。因为在MapTask的源码中,执行分区的前提是先判断ReduceNum个数是否大于1。不大于1肯定不执行。5、在Windows环境编译的jar包导入到Linux环境中运行,hadoop jar wc.jar com.atguigu.mapreduce.wordcount.WordCountDriver /user/atguigu/ /user/atguigu/output报如下错误:Exception in thread main java.lang.UnsupportedClassVersionError: com/atguigu/mapreduce/wordcount/WordCountDriver : Unsupported major.minor version 52.0原因是Windows环境用的jdk1.7,Linux环境用的jdk1.8。解决方案:统一jdk版本。6、缓存pd.txt小文件案例中,报找不到pd.txt文件原因:大部分为路径书写错误。还有就是要检查pd.txt.txt的问题。还有个别电脑写相对路径找不到pd.txt,可以修改为绝对路径。
常见问题及解决方案7、报类型转换异常。通常都是在驱动函数中设置Map输出和最终输出时编写错误。Map输出的key如果没有排序,也会报类型转换异常。8、集群中运行wc.jar时出现了无法获得输入文件。原因:WordCount案例的输入文件不能放用HDFS集群的根目录。9、出现了如下相关异常Exception in thread main java.lang.UnsatisfiedLinkError: org.apache.hadoop.io.nativeio.NativeIO$Windows.access0(Ljava/lang/String;I)Z at org.apache.hadoop.io.nativeio.NativeIO$Windows.access0(Native Method) at org.apache.hadoop.io.nativeio.NativeIO$Windows.access(NativeIO.java:609) at org.apache.hadoop.fs.FileUtil.canRead(FileUtil.java:977)java.io.IOException: Could not locate executable null\bin\winutils.exe in the Hadoop binaries. at org.apache.hadoop.util.Shell.getQualifiedBinPath(Shell.java:356) at org.apache.hadoop.util.Shell.getWinUtilsPath(Shell.java:371) at org.apache.hadoop.util.Shell.clinit(Shell.java:364)解决方案:拷贝hadoop.dll文件到Windows目录C:\Windows\System32。个别同学电脑还需要修改Hadoop源码。
常见问题及解决方案方案二:创建如下包名,并将NativeIO.java拷贝到该包名下10、自定义Outputformat时,注意在RecordWirter中的close方法必须关闭流资源。否则输出的文件内容中数据为空。@Overridepublic void close(TaskAttemptContext context) throws IOException, InterruptedException { if (atguigufos != null) { atguigufos.close(); } if (otherfos != null) { otherfos.close(); }}
常见问题及解决方案11、mapRedue本地执行报错 : could not locate executable winutil
您可能关注的文档
- H2受体阻断药的临床应用.pptx
- H2受体阻断药的药动学特点.pptx
- H2受体阻断药的药理作用.pptx
- 二零二三年 优质公开课H525PS设定.pptx
- H525PS软件学习方法.pptx
- 二零二三年 优质公开课H526PS制作小技巧.pptx
- 二零二三年 优质公开课H541推荐书目.pptx
- H542网上学习资源.pptx
- 二零二三年 优质公开课HACCP标准.pptx
- 二零二三年 优质公开课Hadoop1.pptx
- 山东省威海市2023-2024学年高一年级下册期末考试语文试题及答案.pdf
- 2024-2025学年绥化市高二数学上学期开学考试卷(附答案解析).pdf
- 2024届贵州省贵阳某中学联考高考模拟预测地理试题(含答案解析).pdf
- 2024年公务员考试行测常识判断复习讲义.pdf
- 2024年广东学法考试试题附答案(考场一).pdf
- 2024年人教版八年级物理复习讲义:功 专项训练【五大题型】原卷版.pdf
- 江苏省泰州市高港区等2地2023-2024学年九年级上学期期中语文试题.pdf
- 酒店概论及酒店管理培训考试题库.pdf
- 湖北省旅游类《酒店服务》技能高考历年考试试题库(含答案).pdf
- 泰安市2025年中考一模考试物理试题(A)含解析.pdf
文档评论(0)