二零二三年 优质公开课python爬虫多线程.pptxVIP

爬Python虫线程多使用1.学习Python爬虫多线程的简介2.掌握Python爬虫多线程的测试3.了解Python爬虫多线程的弊端1、 Python爬虫多线程的简介多线程概述多线程使得程序内部可以分出多个线程来做多件事情，充分利用CPU空闲时间，提升处理效率。python提供了两个模块来实现多线程thread 和threading ，thread 有一些缺点，在threading 得到了弥补。并且在Python3中废弃了thread模块，保留了更强大的threading模块。多线程思维导图1、 Python爬虫多线程的简介使用场景在python的原始解释器CPython中存在着GIL（Global Interpreter Lock，全局解释器锁），因此在解释执行python代码时，会产生互斥锁来限制线程对共享资源的访问，直到解释器遇到I/O操作或者操作次数达到一定数目时才会释放GIL。所以，虽然CPython的线程库直接封装了系统的原生线程，但CPython整体作为一个进程，同一时间只会有一个获得GIL的线程在跑，其他线程则处于等待状态。这就造成了即使在多核CPU中，多线程也只是做着分时切换而已。如果你的程序是CPU密集型，多个线程的代码很有可能是线性执行的。所以这种情况下多线程是鸡肋，效率可能还不如单线程因为有上下文切换开销。但是如果你的代码是IO密集型，涉及到网络、磁盘IO的任务都是IO密集型任务，多线程可以明显提高效率，例如多线程爬虫，多线程文件处理等等2、 Python爬虫多线程的测试多线程爬虫情境1测试一个线程时：一个线程运行结束后，耗费了8秒多时间；2、 Python爬虫多线程的测试多线程爬虫情境2测试二个线程时：一个线程运行结束后，耗费了4秒多时间，节省了一半的时间；2、 Python爬虫多线程的测试多线程爬虫情境3测试三个线程时：一个线程运行结束后，耗费了2秒多时间，又节省了将近一半的时间；总结：Python多线程在IO密集型任务，多线程可以明显提高效率；3 、 Python爬虫多线程的弊端特别注意：多线程限制条件Python多线程的限制条件：Python解析器的全局锁导致即使在多核CPU，一个时间片内也只能有一个Python程序在执行。所以即使你多线程，从微观的角度，CPU来看也是只有一个时间一个线程能运行，即使这个电脑是三核，四核都没有用。多线程只适用于有IO等待的场景，如果是有纯计算的场景，多线程无法优化性能使用多进程multiprocessing（CPU的多核）使用分布式（多台电脑上有多线程，这个时候我们运行可获取的线程就大大增加了）关于并发有并发控制，关注twisted/gevent等基于事件的框架1.认识了Python爬虫多线程的简介 (1)多线程概述 (2)使用场景2.学习了Python爬虫多线程的测试 (1)多线程爬虫3.熟悉了Python爬虫多线程的测试谢谢观看本次课我们学习Python中爬虫多线程使用本次课程教学目标是：1.学习Python爬虫多线程的简介2.掌握Python爬虫多线程的测试3.了解Python爬虫多线程的弊端我们来学习下Python中多线程的概述多线程流程我们来学习下Python中多线程的使用场景下面我们来做一个案例:测试一个线程时下面我们来做一个案例:测试二个线程时下面我们来做一个案例:测试三个线程时我们来学习下Python爬虫多线程的弊端多线程限制条件通过上述讲解，我们认识了Python爬虫多线程的简介、学习了Python爬虫多线程的测试、熟悉了Python爬虫多线程的测试本次课我们就学到这里，谢谢观看！