Python程序设计课件：使用Python模块.pptx

使用Python模块

使用Urllib模块获取网页数据目录Content1使用re模块过滤数据2使用PyMySQL模块存储数3

项目导言零网页数据采集是指从网页中获取所需的信息，通常情况下，使用Python编程语言来实现。Python提供了许多库和工具，如Urllib、Requests、re、PyMySQL等，可以发送HTTP请求、解析HTML页面并在提取所需内容后将其保存。网页数据采集可以用于各种用途，例如市场调查、竞争分析、舆情监测等。但在进行网页数据采集时，需要注意反爬虫机制、请求频率限制、数据质量等问题。本项目主要通过Urllib、re、PyMySQL等Python模块的组合实现网页数据的采集与存储。

学习目标零知识目标了解Python模块的作用；熟悉正则表达式组成；掌握Python中数据库的连接；掌握正则表达式元字符含义。能力目标具备使用正则表达式匹配文本的能力；具备Python模块下载安装的能力；具备网页数据采集与存储的能力。素养目标具备精益求精、坚持不懈的精神；具有良好的行为习惯和良好的心理素质；具备灵活的思维和处理分析问题的能力；?具有发现问题、分析问题、解决问题的能力。

任务6-1：使用Urllib模块获取网页数据壹1request模块在Urllib中，request模块提供了许多与网络通信相关的功能，可以用来向HTTP/HTTPS服务器发送请求并获取响应结果，以实现数据的获取或提交，并通过该模块中的函数和类来实现常见的HTTP操作向指定URL发送请求，并获取响应结果发送POST请求，并添加数据添加请求头部信息处理Cookies，以便在请求之间保持会话处理重定向指定代理HTTP认证

任务6-1：使用Urllib模块获取网页数据壹request模块包含的常用函数见表。函数描述urlopen()用于向指定URL发送请求，并获取响应结果Request()构造一个HTTP请求urlencode()将字典、元组列表等对象转换为URL编码格式urlretrieve()用于以文件形式下载指定URL的内容

任务6-1：使用Urllib模块获取网页数据壹（1）urlopen()在request模块中，urlopen()函数支持HTTP、HTTPS、FTP和文件等多种协议，并在指定请求方式、请求头等信息后打开指定的URL，语法格式如下所示。urllib.request.urlopen(url,data=None,timeout=socket._GLOBAL_DEFAULT_TIMEOUT,cafile=None,capath=None,cadefault=False,context=None)参数说明见表。参数描述url要访问的URL地址，可以是字符串类型的URL，也可以是一个Request对象data发送给服务器的数据。如果为None，则发送GET请求；否则，发送POST请求并把数据添加到请求体中timeout设置超时时间，单位为秒。如果访问时响应时间超过了这个设定的时间，则会抛出异常。默认值为全局超时，默认超时时间为socket._GLOBAL_DEFAULT_TIMEOUTcafile用于指定SSL/TLS证书文件的路径，默认值为Nonecapath用于指定SSL/TLS证书文件夹的路径，默认值为Nonecadefault指示是否使用默认的SSL/TLS验证机制，默认值为Falsecontext指定ssl.SSLContext实例，用于为HTTPS请求配置SSL/TLS，默认值为None

任务6-1：使用Urllib模块获取网页数据壹例如，使用urlopen()函数访问地址“”，代码如下。importurllib.requestresponse=urllib.request.urlopen()需要注意的是，urlopen()函数在读取响应内容时会将整个响应内容加载到内存中，对于大文件或网络延迟较高的情况可能会导致程序崩溃或资源耗尽。因此，在处理大文件时，建议使用其他方式进行下载和处理，如使用requests库等。

任务6-1：使用Urllib模块获取网页数据壹另外，urlopen()函数在完成URL地址的访问后，会返回一个类文件对象（Response），其包含多项内容，如：?状态码：表示服务器返回的状态代码，是服务器返回的一个三位数字代码，用于表示HTTP请求的处理结果。HTTP响应状态码有5类，各代表不同的含义，见表。类别描述1xx信息性状态码，表示服务器已经接收到请求并正在处理2xx成功状态码，表示服务器已经成功地接收、理解和接受请求3xx重定向状态码，表示客户端需要执行额外的操作才能完成请求4xx客户端错误状态码，