使用Python多线程抓取并验证代理.docVIP

使用Python多线程抓取并验证代理 　　最简单的，只要用Python的urllib2.urlopen()函数就可以了; 　　然后，有个网站喜欢封人，所以，得找一批代理，轮流抓它的信息;有的网站不允许程序抓取，所以，就得加入一些头信息;有的网站需要登录，这时就要用到Cookies; 　　最后，为了提高效率，最好是使用多线程。(PS，有个地方要注意，urlopen这个函数，设定了一个全局对象opener，所以如果你使用了多个线程，每个线程使用一个代理，那么，不能使用urlopen这个函数，而应该使用opener.open) 　　下面是我用Python写的一个抓代理的脚本，虽然现在已经不在教育网内部了，不过有时候还是需要用一下代理的:) # -*- coding: cp936 -*- import urllib2,re,thread,time import socket socket.setdefaulttimeout(10)  #定义抓取代理的函数# def getcnproxy(name):  pagenum=0  result=[]  getallpages=0  trycount=0  while getallpages==0 and trycount=6:  pagenum=pagenum+1  url=/html_proxy/http-+str(pagenum)+.html  try:  html=urllib2.urlopen(url)  ip=  for line in html:  if onDblClick=clip in line:  proxy=line[line.find(clip()+6:line.find())]  lock.acquire()  print name,proxy  lock.release()  result.append(proxy)  if 下一页|尾页 in line:  getallpages=1  except:  trycount=trycount+1  pagenum=pagenum-1  proxylist[0]=result  return result def getproxycn(name):  pagenum=0  result=[]  getallpages=0  trycount=0  while pagenum=9 and trycount=2:  pagenum=pagenum+1  url=/proxy+str(pagenum)+.html  try:  html=urllib2.urlopen(url)  for line in html:  if HTTP in line:  proxy=line[line.find(td)+4:line.find(?)]+line[line.find(:):line.find(/tdtd)]  lock.acquire()  print name,proxy  lock.release()  result.append(proxy)  except:  trycount=trycount+1  pagenum=pagenum-1  proxylist[1]=result  return result  # 结束代理抓取函数定义 # # 验证代理的函数定义 # def proxycheckone(proxy):  url=  proxy_url = http://+proxy  proxy_support = urllib2.ProxyHandler({http: proxy_url})  opener = urllib2.build_opener(proxy_support, urllib2.HTTPHandler)  r=urllib2.Request(url)  r.add_header(Accept-Language,zh-cn) #加入头信息，这样可以避免403错误  r.add_header(Content-Type,text/html;