Net开源爬虫Abot介绍及配置方法.pdfVIP

.Net开源网络爬虫Abot介绍-JustRun

时间2014-05-3111:21:00博客园_JustRun

原文

.

NetjQuery

.Net中也有很多很多开源的爬虫工具,abot就是其中之一。Abot是一个开

源的.net爬虫，速度快，易于使用和扩展。项目的地址

是

对于爬取的Html，使用的分析工具是CsQuery,CsQuery可以算是.net中

实现的Jquery,可以使用类似Jquery中的方法来处理html页面。

CsQuery的项目地址是

一.对Abot爬虫配置

1.通过属性设置

先创建config对象，然后设置config中的各项属性：

CrawlConfigurationcrawlConfig=newCrawlConfiguration();

crawlConfig.CrawlTimeoutSeconds=100;

crawlConfig.MaxConcurrentThreads=10;

crawlConfig.MaxPagesToCrawl=1000;

cra