第8章 大数据采集-习题答案.pdfVIP

第8章大数据采集习题 8.1选择题 1、 数据采集的数据对象类型包括 （D ）。 A.结构化数据 B.半结构化数据 c.非结构化数据 D.以上都是 2、 数据采集的主要性能要求不包括以下的（ B ） o A.全面性 B.安全性 C.多维性 D.高效性 3、 大数据采集相对于传统数据采集的优势不包括 （C ）。 A.数据源广泛 B.安全性 C.速度有限 D.数据类型丰富 4、 大数据采集和传统数据采集的区别可以从下面的 （B ）看出。 ①数据源 ②数据量 ③数据类型 ④数据产生速度 ⑤数据存储 A.①②③ B.①②③。⑤ C.②③（3） D.②③④⑤ 5、 下面不属于Scrapy的组件的是 （A ）。 A.传感器 B.引擎 C.下载器 D. Spider 6、 下面选项属于典型的网络数据采集工具的是 （A ）。 A. Scrapy B. Fluentd C. Logstash D. Flume 7、 前传感器的主要组件不包括 （D ）。 A.敏感元件 B.转换元件 C.信号调理转换电路 D.二极管 8、 下面不属于典型日志系统的是 （D ）。 A. Fluentd B. Logstash C. Scribe D. Nutch Nutch的主要特点不包括 （C ）。 A.伸缩性强 B.可靠性高 C.安全性强 D.速度快 10、定向数据采集特别重视 （A ）。 A.页面与主题的相关度B.链接的安全性C.系统的运行时间 D.数据量的大小 8.2填空题 1、 数据采集的对象类型包括结构化数据、半结构化数据、 （非结构化数据）。 2、 数据采集三个基本的性能要求：全面性、（ 多维性 ）、高效性。 3、传感器一般由敏感元件、（ 转换原件 ）、信号调理转换电路组成，有时还需外加 辅助电源来提供转换能量。 4、 分布式采集系统的主要特点包括（ 伸缩性强 ）、可靠性高、速度快。 5、 分布式数据采集系统常常采用（ 主从式 ）和对等式这两种架构。 8.3简答题 1、 请简述网络爬虫的基本原理。 答： 网络爬虫又称为网络蜘蛛、网络机器人，是一种按照一定的规则自动地抓取Web数据 的程序或者脚本。网络爬虫会从一个或若干初始页面的统一资源定位器开始，获得初始页面 上的数据，并且在抓取页面数据的过程中，不断从当前页面中抽取新的URL并放入URL 队列，直到满足设置的停止条件为止。 2、 请简述系统日志的概念及作用。 答： 系统日志用于在时间上连续地记录由系统指定的对象的动作及动作结果。系统日志可以 记录系统进程和设备驱动程序的活动，包括系统服务的开启、关闭、暂停等状态，以及设备 驱动程序启动、自检、故障等情况。操作系统、数据库、网络系统等平台每天都会产生大量 的系统日志，收集、存储、处理和管理这些系统日志需要特定的日志系统。 3、 请描述分布式数据采集系统的两种典型架构。 答： 对于主从式架构而言，由一台专门的主服务器来维护待抓取的URL队列，该服务 器负责将URL分发到不同的工作服务器，而工作服务器则负责页面下载的工作。 主服务器除了维护待抓取的URL队列以及分发URL,还要负责调节各个工作服务 器的负载情况。基于主从式架构的分布式数据采集系统的优点是结构简单，容易管 理和配置；其缺点是