pycurl实现hadoop的客户端功能.docxVIP

pycurl 实现 hadoop 的客户端功能 目前在测试一个 hadoop 的功能，需要频繁的和 hadoop 打交道。刚开始采用的 python 的 subprocess 模块来调用底层的 hadoop 提供的命令行工具实现的。一，hadoop 提供的命令行格式说明： hadoop fs [cmd] 具体的命令有: hadoop fs [-fs local | file system URI] [-conf configuration file] [-D property=value] [-ls path] [-lsr path] [-du path] [-dus path] [-mv src dst] [-cp src dst] [-rm [-skipTrash] src] [-rmr [-skipTrash] src] [-put localsrc ... dst] [-copyFromLocal localsrc ... dst] [-moveFromLocal localsrc ... dst] [-get [-ignoreCrc] [-crc] src localdst [-getmerge src localdst [addnl]] [-cat src] [-copyToLocal [-ignoreCrc] [-crc] src localdst] [-moveToLocal src localdst] [-mkdir path] [-report] [-setrep [-R] [-w] rep path/file] [-touchz path] [-test -[ezd] path] [-stat [format] path] [-tail [-f] path] [-text path] [-chmod [-R] MODE[,MODE]... | OCTALMODE PATH...] [-chown [-R] [OWNER][:[GROUP]] PATH...] [-chgrp [-R] GROUP PATH...] [-count[-q] path] [-help [cmd]] 从上面可以看出命令提供的功能还是挺强大的。包括了文件和对目录的各种操作。举个例子： 要列出 hadoop 的根目录下面的文件,具体命令如下： #hadoop fs -ls hdfs://12:50081/ drwx---r-x - test test 0 2013-03-08 11:20 /static drwx---r-x - test test 0 2013-02-19 15:40 /system drwxrwxrwx - test test 0 2013-01-22 18:42 /video 其他的命令功能就不一一介绍了，相信看帮组文档自己也可以看懂。 这样会有一个问题，每执行一个命令都会新生成一个 jvm，对运行命令的机器造成很大的负担，在命令多的情况下，查看 top 可以看到 java 的进程会跑到 99%，严重影响到的使用。于是有了下面的实现方法。 二，hadoop 提供的 web 方式 在网上查看官方的客户端 API，发现 hadoop 提供一个 web REST API，既采用curl 的方式可以轻松实现。 上面对使用方式进行充分的说明。 curl 的方式可以进行对 hadoop 中的文件和目录进行一些基本的操作。目前官网上提供的有 1,创建并写入文件 2，追加文件 3，打开并读入文件 4，创建目录 5，重命名文件或者目录 6，删除文件或者目录 7，列出文件或者目录状态 8，列出目录列表 下面提供一些具体的使用例子： a，列出目录的状态 #curl -i 12:50071/webhdfs/v1/?op=GETFILESTATUS HTTP/1.1 200 OK Content-Type: application/json Transfer-Encoding: chunked Server: Jetty(6.1.26) {FileStatus:{accessTime:0,blockSize:0,group:TEST,length:0,modificationTime:136 2812718704,owner:TEST,pathSuffix:,permission:705,replication:0,type:DIREC TORY}} b，重命名目录 #curl -i -X PUT 12:50071/webhdfs/v1/test?op=RENAMEdestination=/test1 HTTP/1.1 200 OK Content-Type: application/json Transfer-Encoding: ch