基于房产交易网站的数据获取与在线工具开发.PDFVIP

第27卷摇 第5期 计 算机 技 术 与发 展 Vol.27摇 No.5 2017年5月 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 COMPUTERTECHNOLOGY AND DEVELOPMENT摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 May 摇 2017 基于房产交易网站的数据获取与在线工具开发 王荩梓,赖雯洁 (华东师范大学地理科学学院,上海 200241) 摘摇 要:房屋交易网站提供了每个交易房产的详细信息,自动获取这些数据并进行在线分析可以帮助人们更好地分析一 个地区房产情况,更有利于决策。 开发网页分析工具是分析大数据发展的趋势,其具有更少的代码,同时拥有不亚于应用 程序的功能实现数据采集与数据分析的实时对接,使得其成为工具开发的新宠。 房产交易网站在线工具利用Python语言 结合Scrapy、ArcPy等第三方模块开发,可自动提取房产数据,并针对不同数据类型,对某一地区的房产进行空间分布分析 和规律监测等。 以链家网、安居客两个房产交易网站为例,从中获取上海市的新房、二手房等房产数据,通过统计图表的 形式显示上海市房产的空间分布情况,房价涨幅,各地区房产数量分布比例等,实现用户对大数据的进一步分析认识。 关键词:房屋交易网站;网络爬虫;地理编码;ArcPy 中图分类号:TP39摇 摇 摇 摇 摇 摇 摇 文献标识码:A摇 摇 摇 摇 摇 摇 文章编号:1673-629X(2017)05-0154-06 doi:10.3969/j.issn.1673-629X.2017.05.032 Data Acquisition and Development of Online Analysis Tools Based on Real Estate Transaction Websites WANG Jin-zi,LAI Wen-jie (School of Geographic Sciences,East China Normal University,Shanghai200241,China) Abstract:Real estate transaction websitesprovide every detail about thereal estate data.It wouldbehelpful forpeopletoknowbetter a鄄 bout real estate,whichishelpfulforfinaldecision.Development ofonlineanalysistoolsmeetsthetrendtoanalyzebigdata onrealestate with lesscode to expect theintegration ofdataminingwith dataanalysisinrealtimeowningthefunctionnolessthanpracticalprograms asnew favoriteintooldevelopment.ThisanalysistoolonlinehasbeendevelopedwithPythonlanguageaswellasthirdpartymodulesin鄄 cluding Scrapy,ArcPy etc. to acquireinformation onrealestateandtomonitorandanalyze spatialdistributionsandvariationsofreales鄄 tate information from varioustypesof data.Takingtwotradewebsitesofreal estate,Network for LinkingFamily andDwelling Guest,as examples,real estate data inShanghaihasbe