Python网络爬虫（Scrapy框架）-使用第三方库实现页面抓取.pdfVIP

使用第三方库实现页面抓取 本章任务 u使用第三方模块实现网站页面信息抓取 u使用第三方模块实现指定信息提取 2 本章目地 u了解爬虫地结构与原理 u了解HTTP协议地组成 u了解页面常用标签及其属性 u掌握使用第三方模块实现网站页面下载地方法 u掌握使用第三方模块实现页面数据提取地方法 u掌握使用第三方模块实现爬虫功能 3 爬虫介绍 u爬虫 u基于B/S模式地数据采集技术 u按照一定地规则,自动地抓取万维网信息地程序 u爬虫基本结构 u网络请求 u网页解析 u目地数据抓取 u爬取驱动逻辑 u数据保存 4 程序架构 uQQ客户端与淘宝网站地区别 C/S架构程序 B/S架构程序 QQ服务器 淘宝服务 器 Q 淘 Q 宝 用 用 户 户 通过客户端 通过浏览器 程序访问服务器 访问应用程序 5 B/S架构工作原理 2 运行服务 发送 客 户 端 请 求 地 信 息 端程序 1 用户输入 访问 数 应 据 用 库 服 3 服 务 务 解释渲染 器 返回 器 HTML文件 4 返回 服 务 端 返 回 地 信 息 6 URL资源定位符 u计算机通过统一资源定位符实现资源访问 uURL:UniformResourceLocator地缩写 输入网址 u唯一能识别Inter上具体地计算机,目录或文件夹位置地 （URL） 命名约定 https://./search/?q=pythonsubmit=