认识网络爬虫大数据技术BIGDATA41课件讲解.pptx

数据预处理技术认识网络爬虫大数据技术BIGDATA

了解网络爬虫了解网络爬虫的利弊掌握网络爬虫的执行过程

认识网络爬虫网络爬虫（WebSpider）又称“网络蜘蛛”或“网络机器人”，是指从网站上获取数据信息的过程，该方法可以将半结构化数据、非结构化数据从网页中抽取出来，将其存储为统一的本地数据，支持图片、音频、视频等数据采集。实际的网络爬虫系统通常是几种爬虫技术相结合实现的

网络爬虫是一把双刃剑

爬虫是一把双刃剑，不仅能够在搜索引擎领域使用，还在大数据分析以及商业领域得到大规模应用，它给大家带来便利的同时，也给网络安全带来了隐患。有些不法分子利用爬虫在网络上非法搜集网民信息，或者利用爬虫恶意攻击他人网站，从而导致网站瘫痪的严重后果。关于爬虫的如何合法使用，推荐阅读《网络爬虫是否合法》。为了限制爬虫带来的危险，大多数网站都有良好的反爬措施，并通过robots.txt协议做了进一步说明，因此读者在使用爬虫的时候，要自觉遵守robots协议，不要非法获取他人信息，或者做一些危害他人网站的事情。

网络爬虫的执行过程网络爬虫的基本执行流程可以总结为三个过程：请求数据、解析数据与保存数据。数据请求——请求的数据除了HTML之外，还有json数据、字符串数据、图片、视频、音频等。解析数据——当一个数据下载完成后，对数据中的内容进行分析，并提取出需要的数据，提取到的数