Nutch相关框架视频教程Nutch相关框架视频教程.docxVIP

Nutch相关框架视频教程第一讲通过nutch，诞生了hadoop、tika、gora。nutch通过ivy来进行依赖管理（1.2之后）。nutch是使用svn进行源代码管理的。lucene、nutch、hadoop，在搜索界相当有名。ant构建之后，生成runtime文件夹，该文件夹下面有deploy和local文件夹，分别代表了nutch的两种运行方式。nutch和hadoop是通过什么连接起来的？通过nutch脚本。通过hadoop命令把apache-nutch-1.6.job提交给hadoop的JobTracker。nutch入门重点在于分析nutch脚本文件。第二讲git来作为分布式版本控制工具，github作为提供免费的私有库。nutch的提高在于研读nutch-default.xml文件中的每一个配置项的实际含义（需要结合源代码理解）。定制开发nutch的入门方法是研读build.xml文件。命令：apt-get install subversionsvn co /repos/asf/nutch/tags/release-1.6/cd release-1.6apt-get install antantcd runtime/localmkdir urlsvi urls/url.txt 并输入nohup bin/nutch crawl urls -dir data -depth 3 -threads 100 vi release-1.6/conf/nutch-site.xml 增加配置cd ../../release-1.6antcd runtime/localnohup bin/nutch crawl urls -dir data -depth 3 -threads 100 删除报错的文件夹nohup bin/nutch crawl urls -dir data -depth 1 -threads 100 第三讲nutch的存储文件夹data下面各个文件夹和文件里面的内容究竟是什么？命令：crawldbbin/nutch | grep readbin/nutch readdb data/crawldb -statsbin/nutchreaddb data/crawldb -dump data/crawldb/crawldb_dumpbin/nutch readdb data/crawldb -urlhttp://4008209999./bin/nutch readdb data/crawldb -topN 10 data/crawldb/crawldb_topNbin/nutchreaddbdata/crawldb -topN 10data/crawldb/crawldb_topN_m 1segmentscrawl_generate：bin/nutch readseg -dump data/segments/20130325042858 data/segments/20130325042858_dump -nocontent -nofetch -noparse -noparsedata –noparsetextcrawl_fetch：bin/nutch readseg -dump data/segments/20130325042858 data/segments/20130325042858_dump -nocontent -nogenerate -noparse -noparsedata –noparsetextcontent：bin/nutch readseg -dump data/segments/20130325042858 data/segments/20130325042858_dump -nofetch -nogenerate -noparse -noparsedata –noparsetextcrawl_parse：bin/nutch readseg -dump data/segments/20130325042858 data/segments/20130325042858_dump -nofetch -nogenerate -nocontent –noparsedata –noparsetextparse_data：bin/nutch readseg -dump data/segments/20130325042858 data/segments/20130325042858_dump -nofetch -nogenerate -nocontent -noparse –noparsetextparse_text：bin/nutch readseg -dump data/segments