python精品教学课件（温州大学）补充：爬虫技术（包括正则）.pptxVIP

补充：爬虫技术;第1部分 初见爬虫;WHY?;网络数据采集是一个综合主题;使用爬虫的一般步骤;网络连接;这样，我们就实现了互联网。。。1969年arpanet在此过程中？网络浏览器有参与吗？没有！1990年，第一个网络浏览器nexus被发明。;from urllib.request import urlopen html = urlopen(/pages/page1.html) print(html.read()) 在python 3.x里，urllib2已经被改名为urllib 是python的标准库，帮助文档： /3/library/urllib.html urlopen用来打开并读取一个从网络获取的远程对象;BeautifulSoup简介;/tiy/t.asp?f=html_basic;BeautifulSoup简介;使用BeautifulSoup;从html到BeautifulSoup的转换;可靠的网络连接;html = urlopen(/pages/page1.html);html = urlopen(/pages/page1.html);标签错误：bs中没有的标签;如何避免后两者的异常？;代码重构;第2部分 复杂的html解析;有人问米开朗基罗：如何完成雕塑《大卫》？答曰：只要用锤子把石头上不是大卫的部分敲掉就行了！在找到目标信息之前，有很多技巧“敲掉”网页上那些不重要的信息。;页面解析难题（Gordian knot）;此外，难题还包括：;CSS：层叠样式表;BeautifulSoup，再来一碗！;BeautifulSoup，再来一碗！;bs的find()和findall();bs的find()和findall();导航树：Navigating Tree;此页面映射为一棵树;处理子标签;处理兄弟标签;处理父标签;regex：正则表达式;re（regular expression）;中文的问题;听题：请写出满足如下条件的字符串;在线测试正则表达式;用正则表达式提取字符串中的邮箱地址;python中如何使用re模块;re匹配对象和组;环视（Lookaround）;环视表达式类型;利用环视插入分隔符;电话号码的正则表达式;常用正则表达式;常用正则表达式;常用正则表达式;正则表达式和BeautifulSoup;from urllib.request import urlopen from bs4 import BeautifulSoup import re html = urlopen(/pages/page3.html) bsObj = BeautifulSoup(html, lxml) images = bsObj.findAll(img, {src:pile(\.\.\/img\/gifts/img.*\.jpg)}) for image in images: print(image[src]) 这里，正则表达式可以作为bs语句的任意一个参数，使用及其灵活;获取属性;from urllib.request import urlopen from bs4 import BeautifulSoup html = urlopen(/p/5069359168?red_tag=u0627780758) bsObj = BeautifulSoup(html, lxml) bsObj.a bsObj.a.attrs bsObj.img bsObj.img.attrs[src];lambda表达式;不选BeautifulSoup;第3部分 开始采集;遍历单个域名;如何进入一个页面并获取此页面的链接？;提出问题;分析问题;解决问题;写出getLinks函数;采集整个网站;开始采集整个网络;pages = set() def getLinks(pageUrl): global pages html = urlopen(+pageUrl) bsObj = BeautifulSoup(html) for link in bsObj.findAll(a, href=pile(^(/wiki/))): if href in link.attrs: if link.attrs[href] not in pages: newPage = link.attrs[href] print(newPage) pages.add(newPage) getLinks(newPage) getLinks();横扫互联网;专业化生成：用Scr