Hadoop大数据技术与项目实战 实训指导书2——连接数据库获取数据.pdf

山西职业技术学院《Hadoop大数据技术与项目实战》

连接数据库获取数据

一、任务描述

通过前面的项目实战，采集到了五张mysql数据表，分别是沉默用户数据表、活跃用户数据表、新增用户数据表、回流用户数据表

以及用户留存率数据表，在接下来的实战中，要基于这五张表，进行数据的可视化。在进行可视化前，需要首先从数据库中获取到指

定数据。而MySQLdb是python操作mysql数据库的一个库，几乎可以实现mysql的所有操作。本任务要完成的工作是：在python

中通过MySQLd库连接数据库，从数据库中查询到指定的数据，为后续绘图做准备。

二、能力目标

能使用MySQLdb第三方库成功连接数据库。

能根据实际需要，从数据库中获取指定数据。

三、任务准备

1.安装python环境

2.安装jupyternotebook开发环境

3.安装MySQLdb第三方库

1

山西职业技术学院《Hadoop大数据技术与项目实战》

4.开启虚拟机（IP：192.168.100.3），并确保已经将ads_back_count回流用户数据表、ads_new_mid_count新增用户数据表、

ads_silent_count沉默用户数据表、ads_user_retention_day_rate留存率表、ads_uv_count活跃用户数据表迁移至192.168.100.3虚拟机

的uzest数据库中。

（提示：如果上述五个表尚未成功迁移至192.168.100.3虚拟机的uzest数据库中，为了不影响同学们感受数据可视化的魅力，在

课程资源中提供了示例数据库文件uzest.sql，大家可暂将提供的uzest.sql导入至192.168.100.3虚拟机的数据库中，用于后续的数据可

视化操作。（导入方法见：《辅助实训指导书——导入uzet.sql数据库文件至虚拟机数据库》））

四、任务实施

1.步骤

（1）导入MySQLdb第三方库

1importMySQLdb

（2）创建search_data函数

创建search_data函数，实现用一条sql语句查询数据库中的数据的功能。

3defsearch_data(cursor,sql):

4

5功能：用一条sql语句查询数据库中的数据

6参数：cursor：操作游标

7sql：一条sql查询语句

2

山西职业技术学院《Hadoop大数据技术与项目实战》

8返回值：查询结果，字典类型

9

10#使用execute方法执行SQL语句

11cursor.execute(sql)

12#使用fetchall()方法获取所有数据

13datacursor.fetchall()

14#获取数据

15data_dict{}#数据为字典类型，日期：具体数据

16forx,yindata:

17data_dict[x]y

18returndata_dict

（3）创建get_data函数

创建get_data函数，实现连接数据库，用多条sql语句查询数据的功能。

20defget_data(host,user,psw,database,sql_list):

21

22功能：连接数据库，查询数据

23参数：host：主机名

24user：用户名