关于某java爬虫系统技术详解.docVIP

实用标准文案 文档大全 自然语言处理课程爬虫系统技术报告 荣幸供爬虫初学者参考 引文：本学期上完自然语言处理课程受益良多，总体上了解了自然语言处理各个方向和领域。要做自然语言处理方面的研究。首先海量的文本数据是必须的。因此网页爬虫系统显得十分重要，另外网络爬虫也是搜索引擎抓取系统的重要组成部分。 爬虫总体系统介绍：爬虫系统主要分两大类，一种是自定义爬虫系统，还有一种是利用开源爬虫软件。其中开源爬虫软件有很多例如： \t /cy163/p/_blank Grub Next Generation \t /cy163/p/_blank PhpDig \t /cy163/p/_blank Snoopy \t /cy163/p/_blank Nutch \t /cy163/p/_blank JSpider \t /cy163/p/_blank NWebCrawler。因为是初学爬虫，所以先暂时不想套用别人的开源代码，虽然自己一步步编的系统可能系能上不如，但是这样是自己对其中一些原理有更深的领会。因此，笔者通过网上博客和一点点查资料写了这个系统。虽然还有待完善，但也是倾心之作。最后还和其他爬虫系统做出了一些对比。 关于本技术报告描述的爬虫系统的详细介绍：本系统采用java代码编写，myeclipse8.5的IDE工具 win7操作系统