Python数据分析与应用 课件 第6章 Python网络爬虫.ppt

********第9章文件*第9章文件第6章Python网络爬虫《Python数据分析与应用》网络爬虫网络爬虫(WebSpider)，又被称为网页蜘蛛或网络机器人，通过一定的规则自动地抓取网络信息。网络爬虫就是根据网址获取网页信息。例如，当输入网址：/，浏览器向DNS服务器发出请求，经过解析，将发送给浏览器的HTML、JS、CSS等文件解析出来，便成了百度内容。爬虫流程爬取Python提供了requests等库实现HTTP请求操作，获取网页的源代码。Requests方法解释requests.get()获取html的主要方法requests.head()获取html头部信息的主要方法requests.post()向html网页提交post请求的方法requests.put()向html网页提交put请求的方法requests.patch()向html提交局部修改的请求requests.delete()向html提交删除请求Requestsimportrequestsr=requests.get(url=http://www……)#GET请求print(r.status_code)#获取返回状态print(r.url)print(r.text)#打印解码后的返回数据解析从网页源代码中提取有用的信息。方法1：采用正则表达式提取，但是在构造正则表达式时比较复杂且容易出错。方法2：由于网页的结构有一定的规则，可以利用BeautifulSoup、pyquery、lxml等库提取网页节点属性、CSS选择器等网页信息。存储将提取到的数据保存到某处以便后续处理和分析，可以保存为TXT文本或JSON文本，也可以保存到MySQL和MongoDB等数据库。正则表达式正则表达式，又称正规表示法、常规表示法，是指通过事先定义好的特定字符（“元字符”）组成的“规则字符串”，对字符串进行过滤逻辑。凡是符合规则的字符串，认为“匹配”，否则，不“匹配”。正则表达式采用正则表达式判断一个字符串是否包含合法的Email，需要创建一个匹配Email的正则表达式，然后通过该正则表达式去判断。正则表达式元字符含义输入输出.匹配任意字符?a.cAbc^匹配开始位置^abcAbc$匹配结束位置abc$Abc*?匹配前一个元字符0到多次abc*ab;abccc+匹配前一个元字符1到多次abc+abc;abccc?匹配前一个元字符0到1次abc?ab;abcre模块fIndall()compile()match()search()replace()split()Python中的re模块提供了一个正则表达式引擎接口，允许将正则表达式编译成模式对象，通过这些模式对象执行模式匹配搜索和字符串分割、子串替换等操作。Findall（）importrep=pile(r\d+)print(p.findall(o1n2m3k4))[1,2,3,4]search（）importrea=123abc456print(re.search(([0-9]*)([a-z]*)([0-9]*),a).group(0))123abc456print(re.search(([0-9]*)([a-z]*)([0-9]*),a).group(1))123print(re.search(([0-9]*)([a-z]*)([0-9]*),a).group(2))abcprint(re.search(([0-9]*)([a-z]*)([0-9]*),a).group(3))456Match()importreprint(re.match(www,).span())#在起始位置匹配(0,3)print(re.match(com,))#不在起始位置匹配Nonesplit()1）只传一个参数，默认分割整个字符串str=a,b,c,d,e;str.sp