第4章模拟用户操作第4节多线程爬虫25课件.pptxVIP

第4章模拟用户操作——第4节多线程爬虫

【学习目标】（1）了解什么是进程（2）了解什么是线程（3）能够利用多线程开发爬虫程序

1进程与线程2Python线程模块3多线程爬取网页

4.1进程与线程一个正在运行的程序或者软件就是一个进程，它是操作系统进行资源分配的基本单位，也就是说每启动一个进程，操作系统都会给其分配一定的运行资源(内存资源)保证进程的运行。一个程序运行后至少有一个进程，一个进程默认有一个线程，进程里面可以创建多个线程，线程是依附在进程里面的，没有进程就没有线程多进程

4.1进程与线程线程是进程中执行代码的一个分支，每个执行分支（线程）要想工作执行代码需要cpu进行调度，也就是说线程是cpu调度的基本单位，每个进程至少都有一个线程，而这个线程就是我们通常说的主线程。多线程

1进程与线程2Python线程模块3多线程爬取网页

4.2Python线程模块在Python中可使用的多线程模块主要有两个：thread和threading模块。thread模块提供了基本的线程和锁的支持。threading模块允许创建和管理线程，提供了更多的同步原语，这里主要介绍threading模块。threading模块中最常用的类是Thread。

4.2Python线程模块importthreadingimporttimeclassCrawlingThread(threading.Thread):defrun(self):forxinrange（3）:print(%s正在写爬虫%threading.current_thread())time.sleep（1）classVisitingThread(threading.Thread):defrun(self):forxinrange（3）:print(%s正在访问网页%threading.current_thread())time.sleep（1）defmulti_thread():t1=CrawlingThread()t2=VisitingThread()t1.start()t2.start()if__name__==__main__:multi_thread()

4.2Python线程模块运行效果

4.2Python线程模块多线程共享全局变量importthreadingitems=0defget_item():globalitemsforxinrange(500000):items+=1print(items:%d%items)defmain():forxinrange（2）:t=threading.Thread(target=get_item)t.start()if__name__==__main__:main()

4.2Python线程模块多线程中的锁importthreadingVALUE=0gLock=threading.Lock()defadd_value():globalVALUEgLock.acquire()forxinrange(500000):VALUE+=1gLock.release()print(value：%d%VALUE)defmain():forxinrange（2）:t=threading.Thread(target=add_value)t.start()

1进程与线程2Python线程模块3多线程爬取网页

4.3多线程爬取网页对于一个网络爬虫，如果按照广度遍历的方式进行下载，执行步骤可以是从从给定的入口网址把第一个网页下载下来，再从第一个网页中提取出所有新的网页地址，放入下载列表中，然后按照按下载列表中的地址，下载所有新的网页，不断从所有新的网页中找出没有下载过的网页地址，更新下载列表，最后直到更新后的下载列表为空表时停止为止。我们在爬取网页的时候就可以用不同的线程去列表中获取URL去爬取数据，这就是多线程爬虫

3.4多线程爬取网页【运行结果】【示例】多线程爬取豆瓣电影前250名电影

下节课见