网络爬虫中的多线程设计模式..docVIP

爬虫中涉及到的多线程设计模式做个小整理，重点加深读写锁模式的理解。内容如下： ===问题细节说明 ===网页抓取：生产者消费者模式（多v多） ===URL去重：读写锁模式 ===网页写入文件：生产者消费者模式（多v一） ===关于多线程的几点注意 ========================================= 问题细节说明 1）简述一下这里涉及到的三个过程：a）爬虫从待爬取URL队列中取得URL进行抓取，抓取来的网页进行解析提取新的链接加入到待爬取URL队列；b）爬取每个网页之前，程序会到已爬取URL表中查询该URL是否已经爬取过；c）网页爬取完，网页解析的内容要写入文件 上述三个过程都是在多线程的环境下进行处理，涉及到的共享资源有：URL任务队列、已爬取的URL表，存储网页内容的文件。这些共享资源的读与写都需要处理好线程的同步互斥，以保证线程安全。 2）注：爬虫中多线程的管理实际是需要维护一个线程池；URL去重也是使用MD5结合布隆过滤器进行实现的；上述所述三个过程在爬虫中并不是独立的，而是互相结合工作的，但是为了提取模式特点，我们将其分拆开，在讲述一个模式过程中如果涉及到其他模式，便略去不谈。所以，这里仅仅提取爬虫中的多线程设计模式，举例重在了解模式工作原理，不涉及爬虫具体实现的过多细节。 ========================================= 网页抓取：生产者消费者模式（多v多） 1） 生产者消费者模式 学过操作系统应该对这个概念很熟悉，简单来说就是“你生产我消费”；该模式分为三个部分：生产者，消费者和产品队列（爬虫中该产品就是URL任务队列，故以下称任务队列）。 该模式可灵活应用，生产者和消费者的比例可以是：多v多，多v一，一v多； 该模式解决多线程同步问题的思想是：对任务队列加锁，队列的出队和入队操作原子性； 该模式应用到多线程爬虫：抓取线程主动去任务队列找活干，如果没活就等待，有活了就通知那些等待的抓取线程。 2） 简单示例代码 在爬虫中，生产者是网页的抓取线程，消费者也是网页的抓取线程，所以这里只要两个类就可以了，一个网页抓取线程类WorkThread，一个任务队列类TaskQueue；简单示例如下，在TaskQueue类中，使用Synchronized关键字使当前线程取得对象TaskQueue的锁，并用wait和notifyAll函数进行线程间通信。 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 /* 任务队列类 */ public class TaskQueue { private Queueurl taskbuffer; private int taskcount; private int maxN; public TaskQueue(int max) { maxN = max; taskbuffer = new Queueurl(maxN); taskcount = 0; } // 生产者调用的任务入队操作 public synchronized void addTask(Listurl urlList) { while(maxN = taskcount)// 如果队列够大，while语句块可以略 { wait(); // 进入TaskQueue对象等待池，释放锁 } while(!urlList.isEmpty()) { taskbuffer.add(str); taskcount++; } notifyAll(); // 唤醒等待池线程 } // 消费者调动的任务出队操作 public synchronized url getTask() { while(taskcount = 0) { wait(); } url str = task