国开2023年春大数据技术概论实验3数据可视化.doc

国开2023年春《大数据技术概论》实验3:数据可视化

实验3:数据可视化(6学时)

目的：展示使用Python或PySpark进行数据可视化的过程

内容：

1.Python的展示和简单介绍

2.数据的读入与简介

3.数据的预处理

4.选择合适的可视化图形

5.图形解读、分析和结论

要求：理解如何通过数据可视化的技术进行探索数据的特征和模式，发现数据中潜在的

价值信息

1.Python的展示和简单介绍

Python是一种流行的编程语言，它允许我们处理和分析数据，并使用

各种库来可视化数据。以下是Python进行数据可视化的一般过程：

导入需要的库：常用的数据可视化库包括matplotlib、seaborn和plotly,

需要先将它们导入到Python代码中。

准备数据：将需要进行可视化的数据准备好，例如从文件中读取或从

数据库中获取。

绘制图表：使用matplotlib、seaborn或plotly等库中的函数和方法绘

制所需的图表，例如散点图、折线图、柱状图、热图等。

自定义样式和布局：可以使用Python代码自定义图表的样式和布局，

例如更改颜色、线条宽度、字体大小等。

展示和保存图表：将生成的图表展示在屏幕上或将其保存到文件中，

以供后续使用。

除了Python外，PySpark也是一种流行的数据处理和分析工具。与Python类似，PySpark也有一些可视化库，例如PySpark内部的可视

化库和Bokeh。通过使用这些库，可以使用PySpark进行数据可视化

并生成高质量的图表。

2.数据的读入与简介

在Python中进行数据可视化需要先对数据进行读入和简介，一般使用pandas库。Pandas是一个用于数据处理和分析的Python库，可以

轻松地处理各种数据类型，包括时间序列、表格数据等。

下面是使用Pandas读取csv文件的示例代码：

importpandasaspd

#读取csv文件

df=pd.read_csv(data.csv)

#查看前5行数据

print(df.head())

这段代码中，我们使用pd.read_csv()函数读取了一个名为data.csv的文件，并将其存储在名为df的变量中。接着使用df.head()函数查

看了前5行数据。

3.数据的预处理

数据可视化是数据分析的重要一环，能够帮助我们更直观、更清晰地了解数据的分布、趋势和规律。Python作为一种通用的编程语言，也有着丰富的数据可视化工具和库，如matplotlib、seaborn、plotly等。在使用这些工具前，我们需要进行数据预处理，以保证数据的质量和

完整性。

下面以一个示例数据集为例，展示使用Python进行数据可视化的过程。

数据预处理

示例数据集包含一些虚构的学生考试成绩数据，其中包括学生ID、考

试科目、成绩等字段。我们首先需要对数据进行清洗和处理，以便后

续的可视化分析。

首先，我们需要导入相关的库和数据集：

importpandasaspd

df=pd.read_csv(exam_scores.csv)

读取数据集中的前几行，查看数据的基本情况：

df.head()

输出：

student_idsubjectscore

0

1

2

3

4

1

1

1

2

2

语文

数学

英语

语文

数学

80

90

70

85

75

接下来，我们可以对数据进行一些基本的探索和清洗，如查看数据的

大小、缺失值、异常值等：

#查看数据的大小

print(数据集大小：,df.shape)

#查看每个字段的数据类型和非空值数量

df.info()

#查看数值型字段的统计信息

df.describe()

#检查是否存在缺失值

df.isnull().any()

#检查成绩是否存在异常值

df[df[score]0]

输出：

数据集大小：(30,3)

classpandas.core.frame.DataFrame

Rangelndex:30entries,0to29

Datacolumns(total3columns):

#ColumnNon-NullCountDtype

int64objectint640

int64objectint64

1subject30non-null

2score30non-null

dtypes:int64(2),object(1)

mem