python医疗系统设计-使用Python抓取、分析、可视化—万家医疗诊所信息.pdfVIP

python医疗系统设计_使⽤Python抓取、分析、可视化—万家 医疗诊所信息 本篇⽂章是使⽤ Pyt on 抓取万家医疗上⾯的诊所信息，并且对关键信息进⾏分析，实现数据可视化。由于时间和能⼒的问题，能抓取的数 据类型较少，分析的维度也不⾜。但是尝试去剖析在国家倡导分级诊疗的⼤环境下，移动医疗在社区诊所上的发展情况。所以抓取了万家医 疗⽹站⾥⾯的诊所数据，并从诊所区域分布、科室类型以及是否⽀持医保上进⾏了数据分析和可视化。 准备⼯作 ⾸先是开始抓取前准备⼯作，导⼊需要使⽤的库⽂件，爬⾍主要使⽤的是requests和BeautifulSoup两个库，数据分析主要使⽤ Numpy 和 Pandas 两个库，外加 matplotlib 库实现数据可视化。 import requests from bs4 import BeautifulSoup import time import pandas as pd import numpy as np import matplotlib.pyplot as plt 抓取诊所列表信息 在抓取前需要先观察下万家医疗诊所列表页⾯的的结构，URL为 “ ttps://www.pinganwj .com/clinic/pa1”，其中 ”pg1”为页⾯数， 共有846个页⾯，预计诊所有8460家左右，可以使⽤循环遍历所有的页⾯，获取信息。 #设置 url 的前⾯部分 url = ttps://www.pinganwj .com/clinic/ 确定了 URL 链接之后，还需要设置浏览器头部( eaders)信息，否则系统会识别爬⾍程序，从⽽阻⽌访问页⾯。 #设置url的前⾯部分 eaders = {User-Agent:Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) C rome/56.0.2924.87 Safari/537.36, Accept:text/j avascript, application/j avascript, application/ecmascript, application/x-ecmascript, /; q=0.0 1, Accept-C arset:ISO-8859- 1,utf-8;q=0.7,*;q=0.3, Accept-Encoding:utf-8, Connection:keep-alive, Referer: ttp:///link?url=_and fsjjj KRgEWkj 7i9cFmYYGsisrnm2A- TN3XZDQXxvGsM9k9ZZSnikW2Yds4swd=eqid=c3435a7d00006bd600000003582bfd1f } 使⽤ for 循环⽣成 1-847 的数字，转化格式后与前⾯的 URL 固定部分拼成要抓取的 URL。这⾥我们设置每两个页⾯间隔 0.5 秒。抓取 到的页⾯保存在 tml 中。 #循环抓取列表页信息 for i in range(1,847): if i == 1: i=str(i) a=(url+pg+i) r=requests.get(url=a, eaders= eaders) tml=r.text else: i=str(i) a=(url+pg+i) r=requests.get(url=a, eaders= eaders) tml2=r.text tml = tml + tml2 #每次间隔0.5秒 time.sleep(0.5) #在页⾯打印爬取进度 print (正在爬取第+i+页) @爬取进度页⾯|center 解析页⾯并提取信息 页⾯爬取下来之后，需要使⽤ BeautifulSoup 对页⾯进⾏解析，变成我们在浏览器查看源代码中看到的样⼦，这样我们才能提取关键信 息。 #使⽤ BeautifulSoup 解析抓取的页⾯内容 wj = BeautifulSoup( tml, tml.parser) 到 ⽬前为⽌，我们已经 800+ 多个页⾯的信息爬取下来，并且通过 BeautifulSoup 解释为我们常见的源代码⽅式。下⾯就是通过分析爬取 字段中 Div的 id 或者 class 提取关键信息。 #将诊所列表中的信息保存在 hospital 中,其中 find_all 获取的是⼀个 list ，就是