武汉科技大学《数据挖掘与商业智能》2023-2024学年第二学期期末试卷.docVIP

学校________________班级____________姓名____________考场____________准考证号

学校________________班级____________姓名____________考场____________准考证号

…………密…………封…………线…………内…………不…………要…………答…………题…………

第PAGE1页，共NUMPAGES3页

武汉科技大学《数据挖掘与商业智能》

2023-2024学年第二学期期末试卷

题号

一

二

三

四

总分

得分

一、单选题（本大题共25个小题，每小题1分，共25分．在每小题给出的四个选项中，只有一项是符合题目要求的．）

1、当网络爬虫需要抓取多个网站的数据时，需要考虑网站的结构和页面布局的差异。假设要抓取的网站分别采用了静态页面和动态页面技术，以下关于处理这种差异的方法，正确的是：（）

A.对静态页面和动态页面使用相同的抓取策略，无需区分

B.针对静态页面使用简单的HTTP请求获取数据，对于动态页面则需要模拟浏览器行为

C.优先抓取静态页面，放弃抓取动态页面，因为动态页面抓取难度大

D.开发复杂的通用抓取模块，同时适用于静态页面和动态页面，无需针对不同类型进行特殊处理

2、爬虫在处理网站的robots.txt禁止