python爬虫--Python二手车交易数据爬取.docxVIP

python爬?--Python??车交易数据爬取 通过 Chrome 浏览器登录数据来源页，使? Chrome 的检查功能，多次刷新，先分析要爬取的数据的规律，搜索汽车类别、?商、品牌、车型、?驶?程、上牌?期、车?类型、燃油类型、变速箱、发动机功率、汽车有尚未修复的损坏、所在地区、报价类型、汽车售卖时间、 ??车交易价格等。然后爬取所需页?的信息进?解析，将数据存储到数据库或者其它形式的?件。 使?selenium打开?页 #打开??车?页并进?全部??车出售页? #打开??车?页并进?全部??车出售页? from selenium import webdriver from selenium.webdriver .support import expected_conditions as EC from selenium.webdriver .support.ui import WebDriverWait from selenium.webdriver .common.by import By driver = webdriver .Chrome() driver.get( /guangzhou/ ) wait = WebDriverWait(driver,10) before = driver.current_window_handle confirm_btn = wait.until( EC.element_to_be_clickable ( (By.CSS_SELECTOR,#tab2-2 div.btn-center a ) ) ) confirm_btn .click() #点击查看更多 打开详情页并爬取需要信息 full xpath：/html/body/div[12]/div[1]/ul/li[1] ? 共 有 56 个 即 li[1]~li[56] driver.find_element_by_xpath(’/html/body/div[12]/div[1]/ul/li[1]’).click() 点击进?详情页 full xpath：/html/body/div[12]/div[1]/ul/li[1] ? 共 有 56 个 即 li[1]~li[56] driver.find_element_by_xpath(’/html/body/div[12]/div[1]/ul/li[1]’).click() 点击进?详情页 html = etree html = etree .HTML(driver.page_source ,etree.HTMLPullParser ()) list_title = html.xpath(/html/body/div[5]/div[2]/h3//text() )#标题 for i in range(1,6): if i == 1: licheng .append (html.xpath(/html/body/div[5]/div[2]/ul/li[1]/h4/text() )[0])#?程数 elif i == 2: time .append (html.xpath(/html/body/div[5]/div[2]/ul/li[2]/h4/text() )[0])#上牌时间elif i == 3: cangshu .append (html.xpath(/html/body/div[5]/div[2]/ul/li[3]/h4/text() )[0])#挡位 / 排量 elif i == 4: location .append (html.xpath(/html/body/div[5]/div[2]/ul/li[4]/h4/text() )[0])#车辆所在地elif i == 5: str = html.xpath(/html/body/div[5]/div[2]/ul/li[5]/h4/text() )[0].strip() xianding .append (str)#限迁地 循环获取56个车辆信息 for i in range(1, 57): # ? 共 有 56 个 贩 卖 车 辆driver .switch_to_window(driver.window_handles [1]) # 跳 转while 1: # 防?太快窗?还没打开便转变窗?发?错误 sleep(1) driver .find_element_by_xpath (//*[@class=viewlist_ul]/li[{}] .format (i)).click() driver .refresh () # 刷新页? sleep(2) if len(driver.w