Nuth 开发环境及搭建.docVIP

PAGE PAGE 1 WIDTH INTERNATION Nutch 开发环境安装及测试 目录： Nutch及相关简介： Nutch 开发环境： 安装过程及注意事项： 运行Nutch测试抓取网站页面 试验结果及分析 1．Nutch及相关简介： Nutch是一个开源Java 实现的web搜索引擎应用程序，是一个以Lucene为基础实现的搜索引擎应用，Lucene 为Nutch提供了文本搜索和索引的API，Nutch不光有搜索的功能，还有数据抓取的功能，可以基于本地文件系统，基于局域网，或者基于 internet 。Lucene并不是一个应用程序，而是提供了一个纯Java的高性能全文索引引擎工具包，它可以方便的嵌入到各种实际应用中实现全文搜索/索引功能。 在nutch0.8.0版本之前，Hadoop还属于 Nutch的一部分，而从nutch0.8.0开始，将其中实现的NDFS和MapReduce剥离出来成立一个新的开源项目，这就是Hadoop，而 nutch0.8.0版本较之以前的Nutch在架构上有了根本性的变化，那就是完全构建在Hadoop的基础之上了。