一个网络爬虫的Java实现..docVIP

/FengYan/archive/2012/11/27/2788369.html#2566041 ? ZeroCrawler V0.1是一只简单的多线程爬虫，其基本架构如下： ? ? ? 整个程序是这样运作的：Scheduler不断从Queue取出URL，如果发现可用的爬虫（空闲线程），那么就将URL分给一只爬虫。然后爬虫完成下载网页，抽取URL，保存网页的工作后就回归Scheduler（变回空闲线程）。直到Queue没有待爬取的URL，并且所有爬虫都空闲下来，就停止程序。 ? ? ? Scheduler的主要工作就是建立线程池，从Queue中取出URL，分配URL给线程。容易出错的地方是退出条件。如果只是判断Queue为空就退出是不行的。因为这时可能还有爬虫在工作中，而它可能提取到新的URL加到Queue中。所以退出条件应该是Queue为空且线程池的线程全部空闲。Scheduler实现如下： View Code public static void Crawl(String url, String savePath) { int cnt = 1; long startTime = System.currentTimeMillis(); AtomicInteger numberOf