《数据采集技术》课件——Scrapy shell.pptxVIP

Scrapyshell

Scrapyshellscrapyshell是一个交互式终端可以在不运行Spider的情况下，测试和调试自己的数据提取代码，测试XPath或CSS表达式属于scrapy命令行工具

Scrapyshell在编写spider时终端提供了交互性测试表达式代码的功能可以测试任何类型的代码它本就是一个常规的Pythonshell

Scrapyshell一般使用标准Python终端如果安装了IPython，Scrapyshell将优先使用Ipython（替代标准Python终端）

启动ScrapyShell语法：scrapyshellurlurl可以为空或本地的一个文件

启动ScrapyShell语法：scrapyshellurl

启动ScrapyShell语法：scrapyshellurl

使用Scrapyshell三种快捷命令：快捷命令描述shelp()打印可用对象和快捷命令的帮助列表fetch(request_or_url)根据给定的request或URL获取一个新的response对象，并更新原有的相关对象view(response)使用本机的浏览器打开给定的response对象。该函数会在response的body中添加一个base标签，使得外部链接（如图片）能正确显示

使用Scrapyshell内置对象描述crawler指定当前Crawler对象spider处理URL的spiderrequest最近获取到的页面的Request对象response包含最近获取到的页面的Response对象settings当前的Scrapy设置

使用Scrapyshell内置对象：内置对象描述crawler指定当前Crawler对象spider处理URL的spiderrequest最近获取到的页面的Request对象response包含最近获取到的页面的Response对象settings当前的Scrapy设置

使用Scrapyshell示例：

使用Scrapyshell示例：

使用Scrapyshellresponse对象有多个属性response.status响应状态码response.url响应地址response.bodyresponse.text文本形式的http正文是response.body经过response.encoding解码得到的response.text=response.body.decode(response.encoding)

示例：response对象

示例：response对象

response的解析response解析说明response.xpath()使用xpath路径查询特定元素，返回一个selector列表对象response.css()使用css_selector查询元素，返回一个selector列表对象selector对象通过xpath方法调用返回的是seletor列表

response.xpath()示例response的解析

extract()使用xpath请求到的对象是一个selector对象，需要进一步使用extract()方法拆包，转换为unicode字符串response的解析如果提取不到值会报错extract_first()提取seletor列表中的第一个值如果提取不到值会返回一个空值

response.css()示例：response的解析

本讲小结1启动ScrapyShell2ScrapyShell的基本使用3测试XPath和CSS表达式

课后作业选取目标网站启动scrapyshell，根据要提取的目标数据，测试XPath和CSS表达式