《数据采集技术》课件——多线程爬虫.pptxVIP

多线程爬虫

Contents知识目标掌握基本的多线程爬虫技术技能目标提高数据采集和处理能力素养目标培养良好的信息素养和道德意识

多线程爬虫是一种利用多个线程同时进行网络数据抓取的技术。多线程网络爬虫传统的单线程爬虫爬取网页的过程是按照顺序逐个进行的。先请求一个网页再请求下一个网页等待响应返回

多线程爬虫同时处理多个网页请求。多线程网络爬虫充分利用计算机的多核处理能力加快数据抓取速度将多线程技术运用在采集网页信息和解析网页内容上。

多线程爬虫多线程爬虫流程如下：1.首先有一个网址列表，是要爬取数据的网页列表。2.同时启动多个线程抓取网页内容，一般启动固定数量的线程。3.将抓取到的网页源码存储在一个列表里。4.同时使用多个线程对网页源码表里的网页内容进行解析。5.将解析之后的数据存储起来。

多线程爬虫queue类是Python标准库中的线程安全的队列实现，提供了一个适用于多线程编程的先进先出的数据结构—队列。tailhead

使用queue模块实现多线程爬虫queue模块是Python内置的标准模块可以直接通过importqueue引用，在Queue模块中提供了三种同步的、线程安全的队列，分别是：Queue(先进先出队列)LifoQueue(后进先出队列)PriorityQueue(优先级队列)LifoQueue和PriorityQueue都是Queue的子类。这些队列的唯一区别是元素取出的顺序不同。

使用queue模块实现多线程爬虫表示一个基本的FIFO（FirstInFirstOut）队列，即先进先出。queue.Queue（maxsize=0）是个整数，规定了队列的长度maxsize一旦达到上限，再添加数据会导致阻塞，直到队列中的数据被消费掉。Queue类如果maxsize小于或者等于0队列大小没有限制maxsize的默认值为0。

使用Queue的示例示例：fromqueueimportQueuequeue_obj=Queue()foriinrange(4):queue_obj.put(i)whilenotqueue_obj.empty():print(queue_obj.get())运行结果：0123

LifoQueue类后进先出队列(LastinFirstOut)queue.LifoQueue（maxsize=0）maxsize参数的含义与Queue类相同。

使用LifoQueue的示例示例：fromqueueimportLifoQueuelifo_queue=LifoQueue()foriinrange(4):lifo_queue.put(i)whilenotlifo_queue.empty():print(lifo_queue.get())运行结果：3210

使用queue模块实现多线程爬虫表示优先级队列，按级别顺序取出元素，优先级队列中的元素一般采取元组（优先级别，数据）的形式来存储。queue.PriorityQueue（maxsize=0）其中，maxsize参数的含义与前两个类相同。PriorityQueue类

使用PriorityQueue的示例示例：fromqueueimportPriorityQueueclassJob(object):def__init__(self,level,description):self.level=levelself.description=descriptionreturndef__lt__(self,other):returnself.levelother.levelpriority_queue=PriorityQueue()priority_queue.put(Job(5,中))priority_queue.put(Job(10,低))priority_queue.put(Job(1,急))whilenotpriority_queue.empty():next_job=priority_queue.get()print(开始工作：,next_job.description)运行结果：开始工作：急开始工作：中开始工作：低

Queue模块Queue