Nutch2.2+MySQL+Solr4.2实现网站内容的抓取和索引.docxVIP

Nutch 2.2+MySQL+Solr4.2实现网站内容的抓取和索引Nutch 2.2.1发布快两月了，该版本与Nutch之前版本相比，有较大变化，特别是与MySQL联合应用的安装和配置过程有不少地方容易出错。本人在安装过程中也遇到了不少麻烦，大多问题通过baidu和google也没有找到解决方法，自己只能通过看代码和分析日志并试错，最终搞定了所遇到的各种问题，现将重要安装和配置过程整理如下。1.??MySQL数据库配置l??my.ini配置分别在[client]、[mysql]下添加1default-character-set=utf8在[mysqld]下添加：1character-set-server=utf8　　l??权限授予123mysql –u root –p xxxx?GRANT?ALL?PRIVILEGES?ON?*.*?TO?root@%?IDENTIFIED?BY??xxxx;　　l??创建数据库与表手动创建数据库nutch和数据表webpage【如果不想用默认的库名和表名也可在nutch安装后的相关配置文件中进行修改，见后续说明】，其中webpage的表结构如下：12345678910111213141516171819202122232425262728293031323334353637383940414243444546474849505152535455CREATE?TABLE?`webpage` (?`id`?varchar(767)?NOT?NULL,?`headers` blob,?`text` longtext?DEFAULT?NULL,?`status`?int(11)?DEFAULT?NULL,?`markers` blob,?`parseStatus` blob,?`modifiedTime`?bigint(20)?DEFAULT?NULL,?`prevModifiedTime`?bigint(20)?DEFAULT?NULL,?`score`?float?DEFAULT?NULL,?`typ`?varchar(32)?CHARACTER?SET?latin1?DEFAULT?NULL,?`batchId`?varchar(32)?CHARACTER?SET?latin1?DEFAULT?NULL,?`baseUrl`?varchar(767)?DEFAULT?NULL,?`content` longblob,?`title`?varchar(2048)?DEFAULT?NULL,?`reprUrl`?varchar(767)?DEFAULT?NULL,?`fetchInterval`?int(11)?DEFAULT?NULL,?`prevFetchTime`?bigint(20)?DEFAULT?NULL,?`inlinks` mediumblob,?`prevSignature` blob,?`outlinks` mediumblob,?`fetchTime`?bigint(20)?DEFAULT?NULL,?`retriesSinceFetch`?int(11)?DEFAULT?NULL,?`protocolStatus` blob,?`signature` blob,?`metadata` blob,?PRIMARY?KEY?(`id`)?) ENGINE=InnoDB?DEFAULT?CHARSET=utf8;　　注：表中的字段根据nutch的conf文件“gora-sql-mapping”进行设置。同时也可通过自动方式生成数据库和表：配置好“gora-sql-mapping”、“perties”及其它文件后，首次通过运行”bin/nutch inject urls”即可自动生成数据库和表，不过或许在自动生成的时候你会遇到问题，不过没有关系，通过及时查看hadoop.log文件你便会发现很多问题（如下图之一）与MySQL支持的数据类型、数据长度有关，只需要根据日志提示做修改、调试（可借助navicat工具像SQL Server方便操作数据库），然后再重复自动生成过程，直到成功为止。2.??Nutch的安装与配置1)???????获取nutch 2.2.x：从官网/dyn/closer.cgi/nutch/下载，然后解压至本地安装目录，如本地根目录为 ${NUTCH_HOME}；2)???????配置nutch对mysql的支持，修改${APACHE_NUTCH_HOME}/ivy/ivy.xml文件，分别：l??将以下行的注释取消1dependency org=”mysql” name=”mysql-connector-java” rev=”5.1.18″ conf=”*-