- 20
- 0
- 约1.85千字
- 约 16页
- 2019-10-28 发布于江苏
- 举报
Scrapy 基于python的网页爬虫 内容大纲 爬虫的由来 爬虫与大数据的联系 Scrapy框架简介 学习Scrapy需要准备的知识 Scrapy的基本逻辑和运行原理 认识第一个爬虫 爬虫方向的前景和细分 问题 爬虫有哪些特点,如何区分? 爬虫为什么会出现(开放性问题)? 你讨厌爬虫吗? Quick glance 爬虫的由来 即网络爬虫,是一种自动获取页面内容的程序。它是搜索引擎重要的组成部分。 网络爬虫 网络爬虫(又被称为网页蜘蛛,网络机器人,在FOAF社区中间,更经常的称为网页追逐者),是一种按照一定的规则,自动地抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫。 爬虫的分类: 网络爬虫按照系统结构和实现技术,大致可以分为以下几种类型: 通用网络爬虫(General Purpose Web Crawler) 聚焦网络爬虫(Focused Web Crawler) 增量式网络爬虫(Incremental Web Crawler) 深层网络爬虫(Deep Web Crawler) Store of spider and big data 爬虫能做什么 能做什么? 不能做什么? Can Can not Everything on HTML based internet! Bad things!
原创力文档

文档评论(0)