用python编写网络爬虫.docVIP

刚刚开了一个《计算机网络》的课，觉得很有用。正好师兄让我练习编写一个能下载网站网页的程序，正好能用上课上的知识了。为了想作一个效率不差的，而下载网页的性能瓶颈是在网络上，所有决定用Python编写代码。刚学python没几天，学习一种语言的最好方法就是写code.下面的是我用的多线程实现的网络爬虫，并用py2exe生成了一个exe，自身觉得py2exe不太好，又不会更好的，只能 这是我这些天的成果。希望有人能提出好的建议，先谢谢了！一共两个文件，一个是toolbox_insight.py，是一个工具文件另一个是test.py，是一个用到toolbox_insight.py中工具的测试文件 #FileName: toolbox_insight.py from sgmllib import SGMLParser import threading import time import urllib2 import StringIO import gzip import string import os #rewrite SGMLParser for start_a class Basegeturls(SGMLParser): #这个Basegeturls类作用是分析下载的网页，把网页中的所有链接放在self.url中。 def reset(self): self.url = [] SGMLParser.reset(self) def start_a(self, attrs): href = [v for k, v in attrs if k == href] if href: self.url.extend(href) #for quickly finding class Newlist(list):#这个类其实是一个添加了find方法的LIST。当num变量在LIST中，返回True,当不在LIST中，返回False并把num按二分法插入LIST中 def find(self, num): l = len(self) first = 0 end = l - 1 mid = 0 if l == 0: self.insert(0,num) return False while first end: mid = (first + end)/2 if num self[mid]: first = mid + 1 elif num self[mid]: end = mid - 1 else: break if first == end: if self[first] num: self.insert(first, num) return False elif self[first] num: self.insert(first + 1, num) return False else: return True elif first end: self.insert(first, num) return False else: return True #下面的reptile顾名思义是一个爬虫 class reptile(threading.Thread): #Name: 是爬虫是名字，queue是任务队列，所有的爬虫共用同一个任务队列 #从中取出一个任务项进行运行，每个任务项是一个要下载网页的URL #result: 也是一个队列，将下载的网页中包含的URL放入该队列中 #inittime: 在本程序中没有用，只是一个为了以后扩展用的 #downloadway:是下载的网页存放的路径 #configfile: 是配置文件，存放网页的UR