房产数据预处理与分析.docxVIP

当今时代，房价问题一直处于风口浪尖，房价的上涨抑或下跌都牵动着整个社会的利益，即便是政府出台各种政策方针也只能是暂时抑制楼市的涨势，对于需要买房的人来说，除了关注这些变化和政策外，还有一个非常头疼的问题，在哪里买房，房价怎样。 普通客户会不停花大量精力逛链家、安居客等房地产网站，借助他们展示的内容进行筛选，但因地区众多，各个地段、房价差异的对比以及入手时机的把握，都得一个个去查阅与分析，非常麻烦。如果可以通过数据的爬取，再按照用户希望的维度统计与分析，会让数据变得清晰明了。本案例旨在对房产数据进行预处理与分析，为刚需购房者提供有用信息。 一、数据源 本案例利用某爬虫软件爬取某房产网站中苏州地区的房产数据，数据文件为house.xlsx，如图6-*所示。 图6-* 数据源 二、目标 1.数据爬取时缺失数据是常见的现象，通过某爬取软件从网站爬取的数据时，如果没有爬取到的数据会返回“暂无数据”，这会影响后期的空值处理，将这些“暂无数据”转换为空值，并统计各列的空值频数，查看缺失数据情况。 2.数据爬取的数据往往是带有单位的字符串，这也会影响后期的数据分析，所以需要将这些数去掉单位，再转换为数值型数据。如将字符串“均价”的40000元/m2转换为数值40000。 3.为了分析不同区的房产数据，从地址中提取出区的数据。为了分析房龄的数据，从建造年代中提取出房龄数据。 4.筛选出区为“工业园”，均价在50000以下，容积率在1.5以下的房源数据。 5.查询房价最贵小区的前5名。 6. 查询停车位最少小区的前5名。 7.统计所有数据的平均房价以及二手房总和数量。 8.分析均价40000以上小区中，房源最多是哪个区。 三、步骤 步骤1：导入库，设置参数。导入所需要的库pandas，利用pd.set_option解除显示宽度的显示，设置数据对齐。 步骤1代码如下： import pandas as pd pd.set_option(display.width,None) pd.set_option(display.unicode.east_asian_width,True) 步骤2：导入数据并查看。 利用read_excel导入house.xlsx（house.xlsx存放在c:\data路径中），将读入的数据命名为data。查看data的行数、列数、列名以及数据的前5行。 步骤2代码如下： data = pd.read_excel(c:/data/house.xlsx) print(数据的行数 = %d\n数据的列数 = %d%(data.shape[0],data.shape[1])) print(数据的所有列名为:\n,data.columns) print(数据的前5行为:\n,data.head()) 输出结果如图6-*所示。 图6-* 步骤2输出结果 步骤3：数据空值处理。将数据中的“暂无数据”改为空值，统计出现空值的列及其空值数量，并按降序排序。 步骤3代码如下： import numpy as np data = data.replace(暂无数据,np.nan) nun_result = data.isnull().sum() nun_result = nun_result[nun_result0] nun_result = nun_result.sort_values(ascending=False) print(各列的空值数量为:\n,nun_result) 输出结果如图6-*所示。 图6-* 步骤3输出结果 步骤4：数据单位处理。将所有数据的单位去掉，并转换为数值型数据。如将“均价”列中的单位去掉，并将剩下的数据转换为数值。 步骤4代码如下： data[均价] = data[均价].str.replace(元/m2,) data[物业费] = data[物业费].str.replace(元/㎡/月,) data[总建面积] = data[总建面积].str.replace(m2,) data[总户数] = data[总户数].str.replace(户,) data[二手房房源数] = data[二手房房源数].str.replace(套,) data[租房源数] = data[租房源数].str.replace(套,) columns_list = [均价,物业费,总建面积,停车位,二手房房源数,租房源数] print(data.head()) for column in columns_list: data[column] = data[column].astype(float) 输出结果如图6-*所示。 图6-* 步骤4输出结果 步骤5：添加新列。 （1）将“地址”列拆分为3个部分，第1个部分生成新列“区”