网络爬虫程序编写.pptxVIP

网络爬虫编写 网络爬虫简介 网络爬虫具体流程如下： 首先选取一部分种子URL 将这些URL输入待抓取URL队列 从待抓取URL队列中取出待抓取的URL，解析DNS，得到主机的IP地址，并将URL对应的网页下载下来，存储到已下载网页库中，再将这些URL放进已抓取URL队列 分析已抓取URL队列中的URL，分析其中的其他URL，并且将URL放入抓取URL队列 网络爬虫编写 采集Web数据实例 网络爬虫编写 采集Web数据实例 步骤5：将data写入本地sogoutest.HTML文件进行保存。在系统中创建HTML格式的文件sogoutest。>>>fh2=open("D:\Python35\sugoutest.HTML","w",encoding="utf-8") >>>fh2.write(data) >>>fh2.close() 网络爬虫编写 采集Web数据实例 步骤1：打开Python编辑器IDLE。 步骤2：导入要使用的库 >>>import urllib.request 步骤3：设置目的网页地址，代码如下所示： >>>url="/" 网络爬虫编写 采集Web数据实例 步骤4：在Python中设置User-Agent字段值。此处将User-Agent设置成Chrome浏览器的用户代理。 >>>headers=("User-Agent","Mozilla/5.0 (Linux; Android 6.0; Nexus 5 Build/MRA58N) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/46.0.2490.76 Mobile Safari/537.36") 步骤5：创建opener对象，并将headers报头信息加载到opener中，代码如下所示： >>>opener=urllib.request.build_opener() >>>opener.addheaders=[headers] 步骤6：再利用opener对象模拟Chrome浏览器爬取目的网页内容，代码如下所示： >>>data=opener.open(url).read() 再参照“构造get请求爬取搜狗首页”的步骤5将data数据存储到本地。 网络爬虫编写 采集Web数据实例 5）获取目的网页响应的内容 采用Request方法将url2网址封装为一个get请求req，再使用urlopen方法打开req，通过read方法读取内容. >>>req=urllib.request.Request(url2) >>>data=urllib.request.urlopen(url2).read 6）将data写入本地baidusearch.HTML文件进行保存 >>>fh=open("D:/Python35/baidusearch.HTML","bw") >>>fh.write(data) >>>fh.close() 2）导入要使用的库，代码如下所示 >>>import urllib.request 3）设置待检索关键词 >>>key="Python 学习方法" >>>key_code=urllib.request.quote(key) 4）生成目的网址 >>>url2=url+key_code 网络爬虫编写 采集Web数据实例 步骤1：打开Python编辑器IDLE 步骤2：导入要使用的库，代码如下所示： >>>import urllib.request >>>import urllib.parse 步骤3：设置目的网址。 步骤4：设置post请求数据。post请求数据应为输入登录表单的账号、密码。 >>>postdata=urllib.parse.urlencode({"name":"admin","pass":"123456"}).encode ('utf-8') 步骤5：构造post请求。 >>> req=urllib.request.Request(url,postdata) 网络爬虫编写 采集Web数据实例 步骤6：模拟浏览器。将User-Agent的内容加载到post请求的头部。 >>> req.add_header('User-Agent','Mozilla/5.0 (Linux; Android 6.0; Nexus 5 Build/MRA58N) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/ 46.0.2490.76 Mobile Safari/537.36') 步骤7：获取目的网页响应内容。 >>> data=urllib.request.urlopen(req).read() 步骤8：将data写入本地文件并保存。 >>> fh3=