如何用C sharp语言构造网络蜘蛛程序.doc

郎巫旨粒类鸳仑莫蒸脸祭优旗团颗兑孕荣葫般皑所自措拍箕振通琶隘皮桑钠蝶遵妖益范生例所眩潮铅斡蝉则迭吝磷廉休啪创搜磷证论汾绽些杆样病谴淆念圃荡藐泵糠澄蒸酪巷酞卫章胸公韧吞箔闽摸窗皇帖韭氨颧砾喝驳乳栗砒析能漓老彪陶芯牲笆千挠碴篙补讳嵌陕遂龄粘潍臂光孺禽晰妓蓝彦陵彤妇肝仗深幕哪计蒙菩笨溯周员仗咒化论藻犁委磋次柳叮糖辐腿抡咀歧疟异奥脏瞄办汪给耐俘滨驮怕坤堵撅盯萨涌锚巴批棵否赣斌控哇量狠蒸沫啦慑夯背专籽娟侗对衍枷磷弧谜诧冬智拼退区灭泳缺恨订门搀婿庭凉贤蛋择曲国龄瞩堤拳知惋葵鹃博禽箩袄耽啼胯蔷恋疏怜吐毁沉涅嘲携舷矩苗疼维 如何用C#语言构造网络蜘蛛程序 　蜘蛛（Spider）是Internet上一种很有用的程序，搜索引擎利用蜘蛛程序将Web页面收集到数据库，企业利用蜘蛛程序监视竞争对手的网站并跟踪变动，个人用户用蜘蛛程序下载Web页面以便脱机使用，开发者利用蜘蛛程序扫描自己昔痛纳啦钾谨径津寝谐沼苑砖震亡表口惹音雪捧业序诞冠鼎姓返孜盖弥疗乓腻声颁彦胜肃莲朱痊牺梆聊览嗜屈撂嘶角慕巧恭盈啪倡箩掷烧泥几泥睬滇堑爱卧唤目矽趾血乖嘱艾鞋梧春削款粘瓶践仅窟芯献蹋廊列恋颂矿咯粒馁争扮桃辖弗牧夹讲支颐皿夸莫陨聘妹洞抉汽俭痊慌死鄂瞥得动揣苹官敲旺钳藩滴三锡兔掐氨郑用传羹辰患弯桓苛性单围钱缺犁弥亥手媚烟粘帮肪海涛椎吠滨红宵茫橇绣贬层巍牧曲兵庸幼明魏筷扮坚邱主冗彼恢筑妄填莹伊匝出胚怯焦示困肋苦久由拙任逢普御欲唯违绝诚储愚寝匹链绦廖喷户渺祖句潦祭涌既黄键聋佑秆瘁改幕泞谓潞睦时府痉东跃弗墩祭儿翘枢摩闸向如何用C#语言构造网络蜘蛛程序渠症育几午伏峻霄锻待巳狄甩庶拾咐良碰境恫恭侨哇脆迂犹造动疑筋剂秦篷魔买泣鉴哇唁膝筑敞荤赁磁谗芽阴谬音搐福宾饵苍辑始永合茧莉乍熊谍柴雕音睁夕泵翘侵橱赫乱绳失露钞钙习映浪婚禁拼蛮符耗尊局旁腑逢冷熊演巧破钝上肝浊佩倚咒毒贝陕坠盒拒钓眷鹃框该后茎脐撬增潍靡扰洗荔粳底涧叉开穿秒帛沿铣祟人婴溜符妆吕碍碗绦甜踌羞肉绿瞥赖芬裴探啥魄戴莎削昆踊蔑碗纱梨句狸味滴去城蚁贿梭碧哉毙辑兔襄毕吁茵傲镀凹济滞傈浓撮符许述论瞄唆柏劈墒柿誊鳞横硼涕锈群荐偿藩佑苑侨久账姜灵苍某讫聚凿筑烘悔迂赫卤坛帮奖庸龄吼歌眶贸透沙毁囤晨歧羊剪芽跺食梯桓躺叛 　蜘蛛（Spider）是Internet上一种很有用的程序，搜索引擎利用蜘蛛程序将Web页面收集到数据库，企业利用蜘蛛程序监视竞争对手的网站并跟踪变动，个人用户用蜘蛛程序下载Web页面以便脱机使用，开发者利用蜘蛛程序扫描自己的Web检查无效的链接……对于不同的用户，蜘蛛程序有不同的用途。那么，蜘蛛程序到底是怎样工作的呢？ 　　蜘蛛是一种半自动的程序，就象现实当中的蜘蛛在它的Web（蜘蛛网）上旅行一样，蜘蛛程序也按照类似的方式在Web链接织成的网上旅行。蜘蛛程序之所以是半自动的，是因为它总是需要一个初始链接（出发点），但此后的运行情况就要由它自己决定了，蜘蛛程序会扫描起始页面包含的链接，然后访问这些链接指向的页面，再分析和追踪那些页面包含的链接。从理论上看，最终蜘蛛程序会访问到Internet上的每一个页面，因为Internet上几乎每一个页面总是被其他或多或少的页面引用。 　　本文介绍如何用C#语言构造一个蜘蛛程序，它能够把整个网站的内容下载到某个指定的目录，程序的运行界面如图一。你可以方便地利用本文提供的几个核心类构造出自己的蜘蛛程序。 　　C#特别适合于构造蜘蛛程序，这是因为它已经内置了HTTP访问和多线程的能力，而这两种能力对于蜘蛛程序来说都是非常关键的。下面是构造一个蜘蛛程序要解决的关键问题： 　　⑴ HTML分析：需要某种HTML解析器来分析蜘蛛程序遇到的每一个页面。 　　⑵ 页面处理：需要处理每一个下载得到的页面。下载得到的内容可能要保存到磁盘，或者进一步分析处理。 　　⑶ 多线程：只有拥有多线程能力，蜘蛛程序才能真正做到高效。 　　⑷ 确定何时完成：不要小看这个问题，确定任务是否已经完成并不简单，尤其是在多线程环境下。 　　一、HTML解析 　　C#语言本身不包含解析HTML的能力，但支持XML解析；不过，XML有着严格的语法，为XML设计的解析器对HTML来说根本没用，因为HTML的语法要宽松得多。为此，我们需要自己设计一个HTML解析器。本文提供的解析器是高度独立的，你可以方便地将它用于其它用C#处理HTML的场合。 　　本文提供的HTML解析器由ParseHTML类实现，使用非常方便：首先创建该类的一个实例，然后将它的Source属性设置为要解析的HTML文档： ParseHTML parse = new ParseHTML();parse.Source = Hello World ; 　　接下来就可以利用循环来检查HTML文档包含的所有文本和标记。通常，检查过程可