大数据基础 单元5 单元测试（答案）.docx

大数据基础

大数据

基础

单元5

测试答案

第PAGE\*Arabic1页/共NUMPAGES\*Arabic1页

单元5数据采集与预处理

单元测试

单元5

单元5

测试答案

1

2

3

4

5

D

A

C

B

B

6

7

8

9

10

D

C

B

A

C

二、填空题

1． 深度优先遍历、广度优先遍历

2． fillna、dropna

3． df[price]100

4． left_on、right_on

5． html.parser

三、简答题

1．解答：

网络数据采集，通常也被称为网络爬虫或网页抓取，是一种从互联网上自动收集信息的程序或脚本。以下是网络数据采集的基本流程：

（1）发送请求：使用HTTP请求库向目标网页发送请求，获取网页内容。

（2）接收响应：接收服务器返回的响应内容，通常是HTML、JSON或XML格式。

（3）解析内容：使用解析工具（如HTML解析器）从响应内容中提取所需的数据。

（4）数据处理：对提取的数据进行清洗和格式化，去除无用信息，保留有用数据。

（5）存储数据：将清洗后的数据存储到数据库或文件系统中，如MySQL、MongoDB、CSV文件等。

2．解答：

BeautifulSoup是一个Python库，用于从HTML或XML文件中提取数据。select方法是BeautifulSoup提供的一个强大的工具，它允许你使用CSS选择器来查找页面上的元素。以下是使用select方法查找元素的几种常见方式：

（1）查找具有特定标签名的元素，如找到所有的段落（p标签），soup.select(p)

（2）查找具有特定类名的元素，如找到所有具有类名class-name的元素，soup.select(.class-name)

（3）查找特定ID的元素，如找到ID为element-id的元素，soup.select(#element-id)

（4）查找具有特定属性的元素，如找到所有具有属性data-attr的元素，soup.select([data-attr])

（5）使用更复杂的选择器，select方法支持更复杂的CSS选择器，例如后代选择器、子选择器等。例如，找到所有在div标签内的第一个p标签，soup.select(divp:first-of-type)

3．解答：

未经预处理的数据可能存在多种问题，这些问题可能影响数据分析的质量和结果的准确性。常见的问题有：不完整性、不一致性、重复数据、错误和异常值、数据类型问题、数据范围问题、数据分布不均、时间序列数据问题、缺乏标准化、隐私和安全性问题、数据过时、数据量过大或过小、数据的可解释性差、数据的可访问性问题等。为了解决这些问题，通常需要进行数据预处理，包括数据清洗、数据转换、数据规范化、缺失值处理、异常值处理、数据集成、数据选择和数据离散化等步骤。预处理可以提高数据质量，确保分析结果的可靠性和有效性。

4．解答：

数据预处理是数据分析和机器学习中的关键步骤，目的是将原始数据转换成适合分析的格式。以下是一些常用的数据预处理方法：

（1）缺失值处理：

填充缺失值：使用均值、中位数、众数或预测模型来填充缺失数据。

删除缺失值：如果缺失数据较多，可以选择删除含有缺失值的记录或特征。

（2）异常值检测与处理：

识别异常值：使用统计方法（如箱型图、标准差、Z-分数等）来识别异常值。

处理异常值：对异常值进行修正或删除。

（3）数据清洗：

去除噪声：使用滤波器或平滑技术去除数据中的随机噪声。

纠正错误：修正数据录入错误或不一致的数据。

（4）数据转换：

归一化/标准化：将数据缩放到一个小的、指定的范围（如0到1）或转换为具有零均值和单位方差的分布。

对数转换：对偏态分布的数据进行对数转换以减少偏度。

数据离散化：将连续特征转换为离散类别，例如通过分箱（binning）或分段。

数据类型转换：确保数据字段具有正确的数据类型，例如将字符串转换为日期或数值类型。

（5）数据集成：合并来自不同来源的数据集，解决数据源之间的不一致性。

这些方法可以单独使用，也可以组合使用，以适应不同的数据集和分析需求。数据预处理的目标是提高数据质量，使其更适合进行有效的分析和建模。

5．解答：

数据归约技术可以用于获取数据集的归约表示，规约后数据规模减小很多，但仍能够较好地保持原数据的完整性。在归约后的数据集上开展数据应用将更有效，能够较好地保障数据应用效果的一致性。数据规约一般有如下两种策略：

（1）维度规约

我们拿到的数据可能包含数以