利用OSS-HttpClient批量抓取网络资源的探讨.pdfVIP

DLIBtOSS 2009学术研讨会论文 利用OSS．HttpClient批量抓取 网络资源的探讨 陶勇 (中国科技技术信息研究所北京100038) i蕊要3溲用文献数据库网站时，有时需要查询并批量获取论文的文摘信息，本文探讨的是在 Java环境下，利用开源软件(OSS)Htll)ClieIlt，实现对网络资源的批量抓取。 [关键词]JavaOSSHtq，Client批量抓取 fromWebsiteBasedon BatchMethodtoSnatchatData HttpClient 胁协孵 lo0038 《Isnc chinn) Be谤ing on amethodt0 dataf．rom w6bsitebased 【Abstract】Tllispaplerprovides grasp也e specific an So氚，areiIlJava 王I￡tpCiieIltOp锶一Source pIa响加． OSS batchmethod i卫bywords】JavaHtlpClient 1 实现目标 在使用万方、维普、EI等文献数据库网站时，通常输入某些关键词，获得特定的 论文信息。但如果要批量获取资料信息，手工操作，费时费力，因此需要利用程序实现 自动批量查淘、抓取论文信息。 2 HttpClient的使用 的应用中，在易厢性、Session的保持等方面还有很多不足之处。丽基『．java的开源 软什HttpClient相比较而言，却有效的弥补了这些。 2．}HttpClient与其他软件的比较 (1)java．net java．net提供了使用Http协议的基本的方法，但是对于很多应用来说还不够完善。 HttpClient是JakartaCo咖ons的一个子项目，它基丁．标准的纯正Java，支持H”P1．0及 HTTPl．1，在一个可扩展的面向对蒙的框架内实现了HTTP的所有方法(GET，POST，PUT， overSSL)协议盼幻密处理，可 DELETE，H￡AD，0PTIONs，andTRACE)，支持H丁TPs(HTTP 以通过代理进行HTTP连接，支持自动转向，可以直接将请求信息流送到服务器的端口，直 接读取从服务器的端口送出的应答信息。 (2)．NET 2．O下的webClient Mircsoft在．NET2．0框架下提供的向URI标识的资源发送数据和从URI标识的资源 接收数据的公共方法——帮ebClient类，通过这个类，可以处理发送请求和接收响应的协议 ．93． DLIB＆oss 2009学术研讨会论文 件机制的cookie策略。 2．2使用步骤 步骤一、获取软件包 HttpClient可以在 ient实例 步骤二、创建HttpCl client=new HttpClient HttpClient(connManager)： 步骤三、创建连接方法 TraceMethod)的一个实例，一般可用目标URL为构造函数的参数。 步骤四、执行方法，读取应答 读取应答的方式有三种：getResponseBody，该方法返回目标的byte流：第二种。 地址中有大量数据需要传输。 步骤五、释放连接，处理应答 无论执行方法是否成功，都