《数据采集技术》课件——批量采集图片数据.pptxVIP

批量采集图片数据

Contents知识目标技能目标素养目标掌握open()、write()和close()函数的使用提高批量采集图片数据能力培养良好的信息素养和道德意识

图片与文本的区别文本图片

通常是二进制数据图片与文本的区别图片是文件的一种表现形式文本在传输的时候通过字符编码将字符转换为二进制数据进行传输。文件以字符作为基础文本文件通常情况下比文本更大，文件传输需要更长的时间和更大的带宽。采集图片数据，最关键的点在于找到这个文件的地址。

批量采集图片数据

分为以下五个步骤打开开发者工具，查看页面结构批量采集图片数据请求图片字节数据保存图片提取图片的url获取网站源代码

分为以下五个步骤打开开发者工具，查看页面结构批量采集图片数据请求图片字节数据保存图片提取图片的url获取网站源代码

批量采集图片数据获取网站源代码

批量采集图片数据获取网站源代码urlheadersparams要访问的网页的URL包含HTTP请求头，用于模拟浏览器请求用于传递请求参数

批量采集图片数据获取网站源代码获取目标网站的源代码response

批量采集图片数据获取网站源代码防止出现乱码

批量采集图片数据获取网站源代码http响应内容的字符串形式

分为以下五个步骤打开开发者工具，查看页面结构批量采集图片数据请求图片字节数据保存图片提取图片的url获取网站源代码

分为以下五个步骤打开开发者工具，查看页面结构批量采集图片数据请求图片字节数据保存图片提取图片的url获取网站源代码

批量采集图片数据打开开发者工具，查看页面结构右键检查

批量采集图片数据打开开发者工具，查看页面结构url地址是图片地址吗

批量采集图片数据提取图片的url

批量采集图片数据提取图片的url网页的源代码

批量采集图片数据提取图片的url可以从几种解析技术中选择一种来解析图片urlparse_page函数

批量采集图片数据提取图片的url将字符串转变成为HTML文档按照xpath路径表达式提取img标签的data-imgurl属性

批量采集图片数据提取图片的url页面中所有图片的URL地址

批量采集图片数据提取图片的url返回值

批量采集图片数据请求图片字节数据

批量采集图片数据请求图片字节数据表示图片地址

批量采集图片数据请求图片字节数据获取响应内容responseresponse.content没有经过任何解码的bytes类型

批量采集图片数据请求图片字节数据response.content没有经过任何解码的bytes类型返回值

批量采集图片数据请求图片字节数据response.contentresponse.text没有经过任何解码的bytes类型将response.content进行解码的字符串

分为以下五个步骤打开开发者工具，查看页面结构批量采集图片数据请求图片字节数据保存图片提取图片的url获取网站源代码把字节数据写入到本地文件

批量采集图片数据保存图片open()write()close()保存文件open()函数用于打开一个文件，并返回文件对象

批量采集图片数据保存图片open(file,mode=r,buffering=-1,encoding=None,errors=None,newline=None,closefd=True,opener=None)文件名模式常用的模式：w打开一个文件只用于写入文件已存在则打开文件，并从开头开始编辑原有内容会被删除文件不存在创建新文件

批量采集图片数据保存图片open(file,mode=r,buffering=-1,encoding=None,errors=None,newline=None,closefd=True,opener=None)常用的模式：w打开一个文件只用于写入b二进制模式（wb：以二进制格式打开一个文件只用于写入）a打开一个文件用于追加文件指针将会放在文件的结尾

批量采集图片数据保存图片open(file,mode=r,buffering=-1,encoding=None,errors=None,newline=None,closefd=True,opener=None)常用的模式：w打开一个文件只用于写入b二进制模式（wb：以二进制格式打开一个文件只用于写入）a打开一个文件用于追加r以只读方式打开文件文件的指针将会放在文件的开头

批量采集图片数据保存图片fileObject.write(str)fileObject.write(bytes)write()用于向文件中写入数据写入字符串写入字节流（保存图片）

批量采集图片数据保存图片fileObject.write(str)fileObj