几种网络爬虫的优缺点.docxVIP

搜索引擎的实现过程,可以看作三步:1.　从互联网上抓取网页 2. 对网页进行处理，建立索引数据库 3.　进行查询。因此无论什么样的搜索引擎,都必须要有一个设计良好的爬虫来支持。 Heｒitｒix 优点:Heｒitriｘ 是 SourceForge　上基于 Ｊavａ　的开源爬虫,它可以通过 Wｅb 用户界面来启动、设置爬行参数并监控爬行,同时开发者可以随意地扩展它的各个组件，来实现自己的抓取逻辑，因其方便的可扩展性而深受广大搜索引擎爱好者的喜爱。 缺点:虽然 Heritrｉx 功能强大,但其配置复杂，而且官方只在　Linux 系统上测试通过，用户难以上手。 根据网上来看这个软件还没有完善。 ２. WｅbSPHIＮX 优点:比较简单 缺点：只能找一个字段 3．　网页抓取/信息提取/数据抽取软件工具包ＭeｔaＳeeker (GｏoSeｅker)　V4.11.2正式发布,在线版免费下载和使用，源代码可阅读。自推出以来,深受喜爱,主要应用领域: 垂直搜索(Ｖｅrtｉcaｌ Seaｒch）：也称为专业搜索，高速、海量和精确抓取是定题网络爬虫ＤａtaＳcrａpｅr的强项,每天２4小时每周7天无人值守自主调度的周期性批量采集,加上断点续传和软件看门狗(Ｗａｔcｈ　Dｏg),确保您高枕无忧 移动互联网：手机搜索、手机混搭（mａshｕp）、移动社交网络、移动电子商务都离不开结构化的数据内容，Daｔa