第4章--正则表达式.pptxVIP

第4章正则表达式;4.1正则表达式常用符号;4.1.1一般字符;4.1.2预定义字符集;4.1.3数量词;4.1.4边界匹配;4.2re模块及其方法;4.2.1search()函数;4.2.2sub()函数;4.2.3findall()函数;4.2.4re模块修饰符;4.3综合示例（一）——爬取斗破苍穹全文小说;4.3.1爬虫思路分析;所以具体的思路为：从第一章开始构造URL，中间有404错误就跳过不爬取。

（3）需要爬取的信息为全文文字信息，如下图所示。

（4）运用Python对文件的操作，把爬取的信息存储在本地的txt文本中。

;4.3.2爬虫代码及分析;15 contents=re.findall(p(.*?)/p,res.content.decode(utf-8),re.S)

16 forcontentincontents:

17 f.write(content+\n) #正则获取数据写入txt文件中

18 else:

19 pass #不为200就pass掉

20

21 if__name__==__main__: #程序主入口

22 urls=[/doupocangqiong/{}.html.format(str(i))foriin23 range(2,1665)] #构造多页url

24 forurlinurls:

25 get_info(url) #循环调用get_info函数

26 time.sleep(1) #睡眠1秒

f.close() #关闭txt文件

;运行的结果保存在电脑，文件名为doupo的文档中，如图

;代码分析：

（1）1~3行

导入程序需要的库，Requests库用于请求网页获取网页数据。运用正则表达式不需要用BeautifulSoup解析网页数据，而是使用Python中的re模块匹配正则表达式。time库的sleep()方法可以让程序暂停。

（2）5~8行

通过Chrome浏览器的开发者工具，复制User-Agent，用于伪装为浏览器，便于爬虫的稳定性。

（3）10行

新建TXT文档，用于存储小说全文信息。

（3）12~19行

定义get_info()函数，用于获取网页信息并存储信息。传入URL后，进行请求。通过正则表达式定位到小说文本内容，并写入TXT文档中。

（4）21~26行

为程序的主入口。通过对网页URL的观察，通过列表的推导式构造所有小说URL，并依次调用get_info()函数，time.sleep(1)的意思每循环一次，让程序暂停1秒，防止请求网页频率过快而导致爬虫失败。;4.4综合示例（二）——爬取糗事百科段子信息;4.4.1爬虫思路分析;（3）需要???取的信息有：用户ID，用户等级，用户性别，发表段子文字信息，好笑数量和评论数量，如图4.15所示。

（4）运用Python对文件的操作，把爬取的信息存储在本地的txt文本中。

;4.4.2爬虫代码及分析;15 return男

16

17 defget_info(url):

18 res=requests.get(url)

19 ids=re.findall(h2(.*?)/h2,res.text,re.S)

20 levels=re.findall(divclass=articleGender\D+Icon(.*?)/div,res.text,re.S)

21 sexs=re.findall(divclass=articleGender(.*?),res.text,re.S)

22 contents=re.findall(divclass=content.*?span(.*?)/span,res.text,re.S)

23 laughs=re.findall(spanclass=stats-voteiclass=number(\d+)/i,res.text,re.S)

24 comments=re.findall(iclass=number(\d+)/i评论,res.text,re.S)

25 forid,level,sex,content,laugh,commentinzip(ids,levels,sexs,contents,laughs,comments):

26