安居客网站长沙市二手房数据采集与分析.pdf

湖南商务职业技术学院毕业设计

目录

1引言1

1.1项目背景1

1.2开发环境与工具2

1.2.1Python简介2

1.2.2Jypyternotebook简介3

1.2.3Python第三方库简介4

2需求分析4

2.1可行性需求分析4

2.2采集目标功能分析5

2.3关键技术分析6

2.3.1网络爬虫技术6

2.3.2文件存取技术7

2.3.3可视化技术7

3数据采集8

3.1采集页面分析8

3.2字段分析10

3.3编程实现12

4数据清洗与处理15

4.1数据储存15

4.2数据清洗与处理16

5数据统计与分析17

5.1数据准备17

5.2数据展示18

5.2.1依据楼盘名称进行统计18

5.2.2依据房屋户型进行统计19

5.2.3依据房屋朝向数量占比进行统计和分析20

I

湖南商务职业技术学院毕业设计

5.2.4依据房屋建造日期进行统计21

5.2.5依据房屋所在地区进行统计22

5.3本章小结23

6小结23

参考资料25

II

湖南商务职业技术学院毕业设计

安居客网站长沙市二手房数据采集与分析

1引言

随着现代信息技术的不断发展，我国已全面迈入大数据时代。这是我们青

年一代应该抓住的时机和机会。2004年Facebook的创立，社交网络的流行直接

导致大量非结构化数据的涌现，而传统处理方法难以应对，带动了大数据技术

的快速突破。后期随着智能手机的应用日益广泛，数据的碎片化、分布式、流

媒体特征更加明显，让大数据技术不断向社会各行各业开始渗透。从目前发展

情况来看，大数据技术的发展，对社会发展过程中的诸多领域都产生了巨大的

推动作用。同时也为我们这些未来的工作者提供了海量的数据源，让我们学到

更多的东西并学会如何去应用。

大数据作为新兴的浪潮，越来越多的人想要学习这门技术、进入这个行业，

融入其中并挖掘其潜能，数据科学和大数据技术也逐渐成为当前信息技术领

域的一个比较热门的分支，大数据之路未来可期。

1.1项目背景

随着中国经济的发展，中国房地产行业逐渐从增量时代走向存量时代，住

宅供不应求局面已经得到扭转，未来新增住房需求小幅下降。随着人们消费观

的改变，相对于新房，二手房的价格低成为一个优势，加上人们的收入水平不

断的提高，有能力去购买更多的房子，以及换其他地方