江西师范高等专科学校《爬虫与Web数据挖掘》2023-2024学年第一学期期末试卷.docVIP

站名：

站名：年级专业：姓名：学号：

凡年级专业、姓名、学号错写、漏写或字迹不清者，成绩按零分记。

…………密………………封………………线…………

第PAGE1页，共NUMPAGES1页

江西师范高等专科学校

《爬虫与Web数据挖掘》2023-2024学年第一学期期末试卷

题号

一

二

三

四

总分

得分

一、单选题（本大题共25个小题，每小题1分，共25分．在每小题给出的四个选项中，只有一项是符合题目要求的．）

1、在设计网络爬虫时，需要考虑如何处理动态生成的网页内容。假设一个网站的部分数据是通过JavaScript加载的，以下哪种方法可以有效地获取这些动态生成的数据？（）

A.使用模拟浏览器的工具，如Selenium

B.分析JavaScript代码，手动重构数据获取逻辑

C.放弃爬取动态数据，只获取静态页面内容

D.直接发送HTTP请求获取数据

2、在网络爬虫的运行过程中，如果发现爬取到的数据存在大量重复，以下哪种方法可能有助于去除重复数据？（）

A.使用哈希表进行数据去重

B.随机删除部分重复数据

C.保留最先获取的