Python网络爬虫技术项目化教程 课件 项目一爬虫入门 ——认识与使用网络爬虫.pptx

项目1爬虫入门——认识与使用网络爬虫

任务1.1认识爬虫

1.1.1爬虫介绍网络爬虫又称网络机器人、网络蜘蛛，是一种遵循既定规则、能够自动提取网页信息的程序。它的目地在于将目标网页数据下载至本地，以便开展后续数据分析。网络爬虫在信息搜索和数据挖掘过程中扮演着重要的角色，相关研究始于20世纪，目前爬虫技术已趋于成熟。需要注意的是：网络爬虫的行为可具体分为技术使用行为和数据使用行为，两种行为均可能引发刑事法律问题，甚至构成犯罪。

网络爬虫是一种数据收集技术，广泛应用于搜索引擎、市场分析等领域。网络爬虫运行机制如下。（1）获取初始的URL。初始的URL地址可以由用户直接指定，也可以由用