大数据基础与实务（商科版）Python软件操作手册3.docxVIP

PAGE PAGE 42 实训操作手册 目 录 10667_WPSOffice_Level1 一、“案例二 单项实训-数据清洗” 1 7906_WPSOffice_Level2 1. 任务一 数据导入 1 19341_WPSOffice_Level2 2. 任务二 缺失值处理 2 20984_WPSOffice_Level2 3. 任务三 重复值处理 3 2783_WPSOffice_Level2 4. 任务四 空格值处理 5 26468_WPSOffice_Level2 5. 任务五 字段抽取 6 14614_WPSOffice_Level2 6. 任务六 记录抽取 7 22383_WPSOffice_Level2 7. 任务七 随机抽取 9 9866_WPSOffice_Level2 8. 任务八 记录合并 10 19833_WPSOffice_Level2 9. 任务九 字段匹配 11 9175_WPSOffice_Level2 10. 任务十 简单计算 12 7906_WPSOffice_Level1 二、“案例三 单项实训-数据挖掘” 13 26472_WPSOffice_Level2 1. 任务一 基于“决策树”模型的流失用户分析 13 4132_WPSOffice_Level2 2. 任务二 基于“高斯贝叶斯”模型的鸢尾花分类 15 PAGE PAGE 42 一、“案例二 单项实训-数据清洗” 任务一 数据导入 登录进入系统后，在【案例选择】下拉列表中，选择“案例二 单项实训-数据清洗”默认进入“任务一 数据导入”，如图1-1。 图1-1 任务一 数据导入 在该任务中，将提供的“链家租房房源信息”数据集导入MySQL数据库中，表名建议命名为“house_学生账号”，为后续数据处理做好准备。学生可先查看教师下发的“链家租房房源信息”excel表熟悉数据。 具体操作： 注意：操作过程与案例一的操作大体一致，在此只进行简要描述，不展开进行详细描述。 新建项目并修改项目名称。 注册存储数据表名，表名命名为“house_学生账号”。 在【数据向导】中，填写“设置储存导入数据的数据表名”参数（为注册的表名：house_学生账号），如图1-2。 图1-2 数据向导 注意：填写参数时，如直接复制答案，不要复制多余空格，此外，字段都要加``号，该符号为【esc】键下方的按键，需在英文字符下输入。 执行代码，执行成功后，点击【查看结果】查看，数量有449条时，表示数据全部导入。 数据分析，通过查看“链家租房房源信息”数据集，可以看到，数据集中存在大量缺失值、一个字段有多个值、同一个房源重复发布等情况。例如有很多记录没有房源标题、地铁信息、价格等信息，同时同一个房源信息在数据集中存在多条，房源介绍字段中存在多个数据，价格以及朝向字段存在脏数据。 这些“异常”情况对会对数据的质量造成影响，因此对数据集进行清洗、集成以及规约等操作。 任务二 缺失值处理 进入“任务二 缺失值处理”任务，如图1-3。 图1-3 任务二 缺失值处理 根据“任务描述”对“链家租房房源信息”表数据进行分析。可知缺失值主要分布在“房源标题”、“地铁”这两个字段，由于房源标题的缺失，相应的房子的房源上架时间、价格、租赁方式、房型、楼层、面积(㎡)、朝向等字段数据也会缺失，可通过删除房源标题为空的数据的方法对缺失值处理。 具体操作： 新建项目并修改项目名称。 在【数据向导】中，填写进行缺失值处理操作的相关参数，如图1-4。“待处理数据表表名”为任务一导入的“house_学生账号”表。 图1-4 数据向导 执行代码，执行成功后，点击【查看结果】查看，数据量从449减少到375条。 导出数据，导出进行缺失值处理过后的“house_学生账号”表。 查看表数据可知，原来的缺失值已被删除。 任务三 重复值处理 进入“任务三 重复值处理”任务，如图1-5。 图1-5 重复值处理 在该任务中，主要对“链家租房房源信息”表的重复值进行去重。由表可知，页面网址是表的主键（即每一数值都是唯一的），首先需查询是否有重复值，此外，对数据进行分析可知，在页面网址不同的情况下，房源还是存在较多的相同数据，可能平台的不同“管家”重复上传了同一房源，所以需对房源标题进行查重，考虑可能存在同一小区同一栋楼的情况，加上“房型”字段作为条件，判断房源数据是否重复。 具体操作： 新建项目并修改项目名称。 在【数据向导】中，填写进行重复值去重操作的相关参数，如图1-6。“待处理数据表表名”为任务一导入的“house_学生账号”表。 图1-6 数据向导 执行代码，执行成功后，点击【查看结果】查看，数据量从375减少到294条。 导出数据，导出进