java版网络爬虫程序.docVIP

java版网络爬虫程序 java 网络爬虫 最近跟朋友开始研究搜索引擎的实现，下面是朋友参照jobo改的一个给予java的spider ps：里面的英文可以略过了，这家伙英语水平实在是烂= = Sosoo 1.0网络爬虫程序 ---用户开发手册 编写人：王建华（rimen/jerry） 编写目的：基于sosoo定制web spider程序的编程人员。 目录 一：安装sosoo 2 二：功能定制 2 1．基本功能参数的设置。 2 2．配置机器人对url的检查 3 3：实现文件管理。 4 4．定制html文档下载规则。 4 5．设置对下载后http文档的过滤处理 5 6．启用机器人运行期监控。 5 7．启用对http协议分析的监控。 5 三：sosoo描述 6 四：应用开发指南 6 1．Roboter类，spider程序的主类。 6 2．TaskList接口，解决对处理任务的存储。 7 3．Http客户端实现。 7 4．实现网页存储或处理 7 5．实现运行期的监控 8 五．程序例子 9 六．参考依赖 10 一：安装sosoo sosoo提供的是一个sosoo-core.jar包，其中并没有提供可运行的程序入口。如果要使用可以通过src中的examples进行体验。开发者可以基于在这上开发出基于UI,j2ee等spider程序 把sosoo-core包加入到你应用的classpath中。 Sosoo 提供一个线程类的来代表一个机器人com.sosoo.robot.spider. Roboter。 通过一个测试类 public static void main(String[] args) throws Exception { Roboter robby = new Roboter(); robby.setStartURL(new URL(73:7001/pa18Web/framework/images/framevork_04.gif)); robby.setMaxDepth(0); //设置最大连接访问深度 robby.setSleepTime(0); robby.setWalkToOtherHosts(true); robby.run(); //启动 } 这样就启动了一个spider程序,sosoo将根据你对javaBean参数的设置进行对网络上html 的抓取. 停止机器人. robot.stopRobot(); 二：功能定制 Sosoo利用回调的方式实现了aop，用户可以通过回调的方式注入javaBean对象，以实现其外部功能 1．基本功能参数的设置。 基本功能指： roboter的原生类型参数（或String），例如：startURL，maxDepth等。 设置开始处理的url【startURL】：必须参数，roboter会根据这个地址开始在网络上进行查找。 robby.setStartURL(URL url)； 设置从开始路径能找的最大深度【maxDepth】：程序会判断当前处理的链接深度是否超过最大链接深度，如果超过这个链接将忽略，当然你可以通过设置depthIsEffect来屏蔽这个功能。默认值为1。 robby.setMaxDepth(0); 设置处理文档的时间间隔【sleepTime】：当处理完一个url时，设置这个间隔时间处理下一个url。单位为s，默认值为60，推荐使用5s。 robby.setSleepTime(0); 设置http连接超时时间：在连接服务器时，可能由于网络或者本身服务的原因，可 能会出现超时的情况，通过设置超时时间来限制对某个url连接的最大时间，这样就可以提高处理的速度，但是如果这个值设置太小，可能很多连接都会连接不到，建议使用大于30的值，默认为60s。 robby.setUrlConnectTimeOut(30); 停止robby线程【stopIt】：你可以通过对robby对象进行操作来停止当前的线程。 robby.stopRobot(); 暂停robby线程【sleep】：可以对当前运行的robby线程进行暂停。 robby.setSleep(true); 2．配置机器人对url的检查 sosoo spider会根据用户的设置把收集到url列表中过滤掉不符合条件的url。 过滤的顺序：walkToOtherHosts-allowWholeHost-flexibleHostCheck- allowWholeDomain-用户提供url列表。 设置是否访问其他的主机【walkToOtherHosts】：如果你需要进行整个