简易网络爬虫程序的开发.docVIP

简易网络爬虫程序的开发(c#版)收藏 给大家共享下自己写的一个简易网络爬虫程序，本程序分为两部分：spider程序集与spiderserver windows服务程序,其中spider程序对爬虫程序的线程管理与获取网页的html做了封装。先看看这个程序的类图吧: ? 下面我对这些类一一介绍： HttpServer类 该类中只有一个方法public string GetResponse(string url)功能是对指定的url获取该页面的html，实现该功能必须解决以下几个问题： 1.如何获取指定url的html？ 其实实现该功能很简单，在C#中通过HttpWebResponse类的调用就能实现,具体方法是: ?HttpWebRequest request = (HttpWebRequest)WebRequest.Create(url); HttpWebResponse response = (HttpWebResponse)request.GetResponse(); Stream reader = response.GetResponseStream(); 然后从reader流中读取内容就行了 2.编码问题，网页通常使用utf-8或gb2312进行编码，如果程序在读取流时使用了错误的编码会导致中文字符的错误 为解决这个问题我先看一小段某网页的html htmlheadmeta http-equiv=Content-Type content=text/html;charset=gb2312title百度一下，你就知道??? 在标签meta中会指定该页面的编码:charset=gb2312,所以我的程序中要先读取charset的值，然后再重新按 charset的值对读流进行读取,为了使这个过程更加简单，我先统一按gb2312进行编码，从流中读取html，在分析html的charset 值，如果该值也是gb2312就直接返回html，如果是其它编码就重新读取流。 3.对于有些页面的html可能会非常大所以我们要限制大小，在程序中最在读取不会超过100k 该类完整代码如下: ?/// summary??? /// HTTP服务类??? /// /summary??? internal class HttpServer??? {??????? /// summary??????? /// 获取指定页面html文本??????? /// /summary??????? /// param name=url页面url/param??????? public string GetResponse(string url)??????? {??????????? try??????????? {??????????????? string html = string.Empty;??????????????? string encoding = string.Empty;??????????????? HttpWebRequest request = (HttpWebRequest)WebRequest.Create(url);??????????????? request.Method = get;??????????????? request.ContentType = text/html;??????????????? byte[] buffer = new byte[1024];??????????????? using (HttpWebResponse response = (HttpWebResponse)request.GetResponse())??????????????? {??????????????????? using (Stream reader = response.GetResponseStream())??????????????????? {??????????????????????? using (MemoryStream memory = new MemoryStream())??????????????????????? {??????????????????????????? int index = 1;??????????????????????????? int sum = 0; ?????????????????????????? //限制的读取的大小不超过100k??????????????????????????? while (index 0 sum 100 * 1024)?????????????????????????