手把手教你用Python网络爬虫爬取新房数据.docxVIP

手把手教你用Python网络爬虫爬取新居数据 大家好，我是J哥。 新居数据，对于房地产置业者来说是买房的重要参考依据，对于房地产开发商来说，也是分析竞争对手项目的绝佳途径，对于房地产代理来说，是踩盘前的重要预备。 今日J哥以「惠民之家」为例，手把手教你利用Python将惠州市新居数据批量抓取下来，共采集到近千个楼盘，包含楼盘名称、销售价格、主力户型、开盘时间、容积率、绿化率等「41个字段」。数据预览如下： 后台回复「新居」二字，可领取本文代码。 项目目标 惠民之家首页网址： / 新居列表网址： /project/list.shtml 选择一个新居并点击「详情信息」即可找到目标字段： 项目预备 软件：Pycharm 第三方库：requests,fake_useragent，lxml 网站地址：/ 网页分析 列表页分析 打开新居列表网页，点击「下一页」后，网址变成： /project/list.shtml?state=key=qy=area=danjia=func=fea=type=kp=mj=sort=pageNO=2 很明显，这是静态网页，翻页参数为「pageNO」，区域参数为「qy」，其余参数也很好理解，点击对应筛选项即可发觉网页链接变化。 我们可以通过遍历区域和页码，将新居列表的房源URL提取下来，再遍历这些URL，抓取到每个房源的详情信息。 详情页分析 选择一个新居URL，点击进去，链接如下： /fontHtml/html/project/00020210060.html 即这个新居的id为「00020210060」，再点击详情信息，链接变为： /project/detail.shtml?num即这个新居的「详情信息」的id为，我们可以大胆假设这个id就是新居id截取的一部分。多找几个新居点击尝试，很简约验证这个规律。 反爬分析 相同的ip地址频繁访问同一个网页会有被封风险，本文接受fake_useragent，将随机生成的User-Agent恳求头去访问网页，将削减ip封锁的风险。 代码实现 导入爬虫相关库，定义一个主函数，构建区域列表（不同区域对应不用的区域id），遍历并用requests去恳求由区域参数和页码参数拼接的URL。这里将页码设置50上限，当遍历的某个房源URL长度为0（即不存在新居数据）时，直接break，让程序进行下一个区域的遍历，直至全部数据抓取完毕，程序停止。 # -*- coding = uft-8 -*-# @Time : 2021/12/21 9:29 下午# @Author : J哥# @File : newhouse.pyimport csvimport timeimport randomimport requestsimport tracebackfrom lxml import etreefrom fake_useragent import UserAgentdef main(): #46:惠城区，47：仲恺区，171：惠阳区，172：大亚湾，173：博罗县，174：惠东县，175：龙门县 qy_list = [46,47,171,172,173,174,175] for qy in qy_list: #遍历区域 for page in range(1,50): #遍历页数 url = f/project/list.shtml?state=key=qy={qy}area=danjia=func=fea=type=kp=mj=sort=pageNO={page} response = requests.request(GET, url, headers = headers,timeout = 5) print(response.status_code) if response.status_code == 200: re = response.content.decode(utf-8) print(正在提取 + str(qy) +第 + str(page) + 页) #time.sleep(random.uniform(1, 2)) print(- * 80) # print(re) parse = etree.HTML(re) get_href(parse,