贝壳找房房产网站杭州市二手房数据采集与分析.pdf

湖南商务职业技术学院毕业设计

目录

1引言1

1.1项目背景1

1.2开发环境与工具2

1.2.1jupyternotebook简介2

1.2.2python简介2

1.2.3Pycharm简介2

1.2.4Python第三方库简介2

2需求分析3

2.1可行性需求分析3

2.2采集目标功能分析3

2.3关键技术分析4

2.3.1网络爬虫技术4

2.3.2文件存取技术4

2.3.3可视化技术4

3数据采集5

3.1采集页面分析5

3.2字段分析6

3.3编程实现7

4数据清洗与处理11

4.1数据清洗11

4.2数据储存13

4.3编程实现13

5数据统计与分析14

5.1数据准备14

5.2数据展示15

5.2.1根据单价和面积分析15

5.2.2根据各户型数量分析17

5.2.3根据各区域二手房数量占比分析17

5.2.4根据各区房价均价分布分析19

5.2.5根据房源描述词云图分析20

5.3综述21

I

湖南商务职业技术学院毕业设计

6小结21

参考资料22

II

湖南商务职业技术学院毕业设计

贝壳找房房产网站杭州市二手房数据采集与分析

1引言

国家发展日新月异，随着时代的进步，很多新新事物兴起，给国家，社会，

人类都带来了不一样的改变——其中大数据技术渐进式发展着。从2009年开始

大数据这个词汇开始在网上流行起来，也逐渐的吸引了更多的人，2013年开始

在国内有突破式的进展，陆续运用在政策、法案、医疗、销售等等行业上，近年

广州市在基于“穗智管”城市运行管理中枢有关数据上建立并率先发布的市域治

理“一网统管”指标体系进一步推动数字化政府的建设，美国奥巴马前总统在当

时选举时就有运用大数据的技术，2012年3月，美国奥巴马政府在白宫网站发

布了《大数据研究和发展倡议》，这一倡议标志着大数据已经成为重要的时代特

征。2012年3月22日，奥巴马政府宣布2亿美元投资大数据领域，是大数据技

术从商业行为上升到国家科技战略的分水岭，二手房市场数据的获取方式也在不

断演变。

传统的数据收集方法已经无法满足市场研究和决策的需要，而Python爬虫

作为一种自动化数据获取工具，越来越受到关注。本文旨在探讨Python爬虫在

获取二手房网站数据中的应用，并分析其优势和局限性。

1.1项目背景

时代在进步着，人的思想也在改变，前人对房子的最求十分的狂热，一定要

有一套属于自己的小屋；现在却有很多人觉得租房也为免不是一种舒适更自在的

生活方式，更甚至还有旅居的出现带来不一样的体验，在这个过程中寻找一个好

的住处是必不可少的。

每个毕业季来临很多毕业生面临找房子的情况，他们或者是要去追梦，或者

去寻找到自己的目标去感受另一个城市。那么找房子也是其中的大头，目前，手

动收集二手房市场数据或者使用第三方APP是常见