(2025年)数据采集初级试题库(含参考答案).docxVIP

(2025年)数据采集初级试题库(含参考答案)

一、单项选择题（每题2分，共40分）

1.以下哪项不属于数据采集的常见来源？

A.企业数据库

B.社交媒体平台

C.加密货币钱包交易记录

D.纸质档案扫描件

2.网络爬虫采集数据时，若目标网站设置了“robots.txt”文件，其主要作用是？

A.限制爬虫的访问频率

B.声明禁止或允许爬虫抓取的页面范围

C.加密页面数据防止抓取

D.记录爬虫的访问日志

3.使用Python的requests库发送HTTP请求时，若要模拟浏览器的User-Agent头信息，应通过以下哪个参数设置？

A.headers

B.params

C.cookies

D.auth

4.以下哪种数据格式通常用于API接口的数据传输？

A.PDF

B.CSV

C.JSON

D.TXT

5.结构化数据与非结构化数据的核心区别在于？

A.数据量大小

B.是否有预定义的格式和字段

C.存储介质类型

D.数据的时效性

6.采集传感器数据时，若设备采样频率为10Hz，意味着每秒采集？

A.10次

B.100次

C.1次

D.0.1次

7.以下哪项属于反爬机制的常见手段？

A.提供公开API接口

B.对请求IP进行频率限制

C.主动开放数据库访问权限

D.定期更新网站配色方案

8.使用八爪鱼采集器时，“自动识别”功能主要用于？

A.自动提供数据清洗规则

B.自动定位页面中的目标数据区域

C.自动设置请求头信息

D.自动分析网站反爬策略

9.以下哪种协议常用于文件传输型数据采集？

A.HTTP

B.FTP

C.WebSocket

D.SMTP

10.数据采集过程中，“去重”操作通常在哪个阶段进行？

A.数据存储后

B.数据清洗阶段

C.数据传输阶段

D.数据采集前

11.若需要采集实时更新的股票行情数据，最适合的采集方式是？

A.定时全量抓取

B.基于WebSocket的长连接监听

C.下载历史数据文件

D.通过API获取当日快照

12.以下哪种场景不适合使用网络爬虫采集数据？

A.采集新闻网站的公开资讯

B.爬取某电商平台的商品价格

C.抓取用户未授权的个人隐私信息

D.采集政府公开的统计报表

13.使用Scrapy框架时，“ItemPipeline”的主要功能是？

A.定义爬虫的请求规则

B.处理爬取到的数据（如清洗、存储）

C.管理请求的并发量

D.解析HTML页面中的数据

14.以下哪项不是数据采集质量的评估指标？

A.数据完整性

B.数据时效性

C.数据存储成本

D.数据准确性

15.采集数据库数据时，若使用JDBC连接MySQL，需额外安装的驱动程序是？

A.mysql-connector-java

B.postgresql-jdbc

C.sqlite-jdbc

D.oracle-jdbc

16.对网页数据进行采集时，若目标数据嵌套在JavaScript动态渲染的DOM节点中，最有效的解析方法是？

A.直接解析HTML源代码

B.模拟浏览器执行JS（如使用Selenium）

C.分析页面CSS样式

D.抓取页面图片后OCR识别

17.以下哪种文件格式通常用于存储非结构化的日志数据？

A.Excel（.xlsx）

B.逗号分隔值（.csv）

C.纯文本（.log）

D.结构化查询语言（.sql）

18.数据采集过程中，“断点续传”功能的主要作用是？

A.提高数据传输速度

B.防止因中断导致重复采集或数据丢失

C.加密传输中的数据

D.减少服务器带宽占用

19.以下哪项属于合法的数据采集行为？

A.绕过网站登录验证机制抓取付费内容

B.使用公开API接口按协议获取数据

C.利用漏洞入侵数据库窃取数据

D.批量爬取用户未公开的社交动态

20.采集移动APP数据时，若无法直接获取APP源码，最常用的抓包工具是？

A.Wireshark

B.Fiddler

C.Charles

D.以上都是

二、判断题（每题1分，共20分。正确填“√”，错误填“×”）

1.所有网络爬虫的行为都是合法的，因为互联网数据默认公开可抓取。（）