Python网络爬虫基础教程 第9章 初始网络爬虫框架Scrapy.pptVIP

* * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * 多学一招 在PyCharm中执行爬虫 在PyCharm中执行爬虫itcast具体步骤如下。 （1）在PyCharm中打开mySpider项目，在该项目中添加一个文件start.py，文件中的内容具体如下所示： from scrapy import cmdline cmdline.execute(scrapy crawl itcast.split()) （2）在PyCharm中运行start.py文件，此时便可以在控制台中看到打印的讲师信息。 多学一招 Scrapy shell是一个交互式终端，它可以在不启动爬虫的情况下尝试及调试爬取部分的代码，也可以测试XPath路径表达式或CSS表达式是否正确，避免每次修改表达式后运行爬虫的麻烦。 Scrapy Shell 多学一招 Scrapy Shell 启用Scrapy Shell 启用Scrapy shell的命令如下所示。 scrapy shell URL # URL是待抓取URL地址 多学一招 启用Scrapy Shell 例如，在Windows命令行窗口中输入“scrapy shell ”命令即可启用Scrapy shell访问百度首页，并且终端会输出大量提示信息。 C:\Users\adminscrapy shell 2021-08-23 14:54:29 [scrapy.utils.log] INFO: Scrapy 2.5.0 started (bot: scrapybot) .......(省略) 2021-08-23 14:54:30 [scrapy.core.engine] INFO: Spider opened 2021-08-23 14:54:33 [scrapy.core.engine] DEBUG: Crawled (200) GET (referer: None) 表示访问网页 结果为成功 Scrapy Shell 多学一招 在PyCharm中执行爬虫 使用Scrapy Shell Scarpy shell可以看成是一个在Python终端（或IPython）基础上添加了扩充功能的Python控制台程序，这些扩充包括若干功能函数和内置对象。 （1）功能函数 shelp()：打印可用对象和功能函数的帮助列表。 fetch(request_or_url)：根据给定的request或URL获取一个新的response对象，并更新原有的相关对象。 view(response)：使用本机的浏览器打开给定的response对象。 多学一招 使用Scrapy Shell （2）内置对象 crawler：当前Crawler对象。 spider：处理URL的Spider对象。 request：最近获取到的页面的Request对象。 response：包含最近获取到的页面的Response对象。 settings：当前的Scrapy settings。 Scrapy Shell 多学一招 使用Scrapy Shell （2）内置对象 当Scrapy shell载入页面后，将得到一个包含Response的本地response变量。若在终端输入response.body，则可以看到response的请求数据；若在终端输入response.headers，则可以看到response的请求头；若在终端输入response.selector，则将获取一个response初始化的类Selector的对象（HTML及XML内容）。此时可以通过使用response.selector.xpath()或response. selector.css()对response进行查询。 另外，Scrapy还提供了一些快捷方式，例如response.xpath()或response.css()同样可以生效。 Scrapy Shell 掌握永久存储数据的方式，能够通过命令将数据保存到本地 学习目标 9.5.4 永久存储数据 永久存储数据是使用Scrapy框架的最后一步操作，主要是对获取的目标数据进行永久性存储。Scrapy中主要有4种方式简单保存数据，这4种方式都是在运行爬虫的命令后面加上-o选项，通过该选项输出指定格式的文件。 9.5.4 永久存储数据 # 输出JSON格式，默认为Unicode编码 scrapy crawl itcast -o teachers.json # 输出JSON Lines格式，默认为Unicode编码 scrapy crawl itcast -o teachers.json