hadoop网站介绍.docVIP

我们搭建了一个公共的Hadoop MapReduce在线测试平台，网址：cloudcomputing.ruc.edu.cn. 现在开放注册。下面我们详细介绍这个测试平台。 一．平台简介 欢迎来到云计算的世界，欢迎来到MapReduce OnlineEvaluation！ 这是一个可以自动运行您提交的Mapreduce程序的平台 Mapreduce是一个简单易用的编程框架，基于Map-reduce写出的程序可以同时运行在由成千上万台计算机组成的计算集群上。就算您不懂得并行编程，不懂套接字，您一样可以控制多台计算机同时处理数据。 在Mapreduce OnlineEvaluation上，您可以选择题目，编写相应的mapreduce程序，体验云平台的编程环境并很方便地学习编写mapreduce程序。 二．平台的主要功能和结构 平台的主要功能： 您可以登录退出，并在平台上更新自己的注册信息。同时，您也可以查看目前平台上的问题并提交您的程序。 平台可以对您提交的有限制的mapreduce-java程序编译打包运行，并对运行结果进行判断，然后返回结果给您。同时，您也可以查看您过去提交过的程序及其错误信息，目前平台只支持java程序。 目前，程序运行结果有： 同时提交人数过多 编译错误 Mapreduce过程错误（包括没有mapreduce过程的） 运行结果与答案不符 内存超出限制 运行时间过长 因为这个平台只是一个评测系统，并非用来做实际的数据处理工作，因此我们对运行时间和使用内存限制很多，以防止一个人的不当使用影响其他人的正常使用。除了使用内存和运行时间上的限制，我们还有一些其他限制： java程序主类名必须为MyMapre（否则为编译错误） 您的mapreduce程序必须处于一个java源文件内，暂时不支持引用 其他源文件内的类。（也就是说您需要把Map，Reduce，Combine等类写到一个文件内） 请按如下格式设置您的输入输出路径： FileInputFormat.setInputPaths(conf, new Path(args[0])); FileOutputFormat.setOutputPath(conf, new Path(args[1])); 很抱歉我们不能告诉您输入输出文件在hadoop-hdfs的路径，但是我们的平台会自动把它们作为第一个及第二个参数传递到您的mapreduce程序中，因此请按以上格式设置您的输入输出路径。 平台对同时运行的mapreduce程序数量有限制。因为系统资源有限，这是一个很无奈的问题。Hadoop平台及mapreduce程序在处理少量数据时的表现并不是很好，毕竟io操作及远程io操作所耗费的时间不容忽视。即使您运行少量数据的wordcount程序也需要20多秒时间（根据运行状况变化）。因此请耐心待您当前提交的程序运行结束后再进行程序提交。以免一个用户占用太多系统资源。虽然我们没有限制您必须这么做。 5,请不要修改你的输出文件格式，尤其是文件名称，这会导致找不到输出文件,谢谢。 考虑到系统稳定性及安全性。平台限制了同时运行的mapreduce程序的最大数量， 并且不允许您的程序运行超过需要的时间或使用超过需要的内存空间。同时本平台运行在一个较低权限的用户下，你不能通过这个用户对系统进行破坏性的操作。 平台主要分三部分： 第一部分（OnlineEvaluation）： 1， home page 帮助您迅速回到主页； update you info在这里您可以修改您的注册信息； F.A.Qs一些常见问题的解答。 第二部分（Problem Set）： Problems 问题列表，这里显示需要您编程解决的问题，你可以点击 问题编号查看问题的具体内容或者点击submit提交你的解决方案； 2， Submit Solution 这里可以提交问题； My Submission 这里可以查看您过去提交的题目的源代码和提交结 果（是按提交时间顺序逆序显示的）。 第三部分（User）： 1， 用户登陆及注册 三．如何提交我的解决方案 登陆 你可以通过以下方式查看问题内容： 点击problem查看所有问题，并可以再问题列表中点击问题编号查看问题内容； 在搜索框中输入问题编号直接查看问题内容 。 你可以通过以下方式进入提交页面： 点击Submit Solution进入提交页面； 在查看问题列表页面中，点击问题后的submit提交问题，这时问题标号会自动输入为你所点击的问题的编号； 在查看问题具体内容时，点击问题最下方的submit进入提交页面。 四．主要的测试题目和解决思路 1000 WordCount: WordCount在mapreduce中的地方好比HelloW