最新国家开放大学电大《大数据技术导论》实验报告实验3 网页数据获取.pdfVIP

最新国家开放大学电大《大数据技术导论》实验报告

实验3网页数据获取

数据获取是数据生命周期中的第一个环节，数据抽取过程是搜索全部数据源，按照某种

标准选择合乎要求的数据，并将其进行适当的格式转换之后，传送到目的地中存储。为了克

服被抽取的数据源分布广泛、异构、非结构化等问题，数据抽取技术和抽取工具应运而生。

学习数据科学与大数据技术不仅需要掌握其理论，更重要的是能够运用工具和方法来完成数

据的获取。

1.实验目的

通过网页数据获取的实验，学生可以理解网络爬虫的工作过程，掌握网页数据获取的方

法，并能够灵活运用，进而解决网页数据获取的实际问题。

2.实验要求

理解爬虫软件的原理与方法，独立完成网页数据获取的实验，主要内容如下。

(1)前嗅ForeSpider爬虫软件安装。

(2)选择频道。

(3)网页数据采集过程。

3.实验内容

(1)制订实验计划。

(2)完成爬虫软件安装。

(3)选择网页。

(4)完成爬虫软件数据采集过程。

4.实验总结

通过本实验，使学生了解爬虫软件的特点、总体结构和分类，理解爬虫软件程序的执行

过程，掌握应用爬虫软件获取网页数据的方法。

5.思考拓展