开源搜索引擎SOLR应用培训教程.ppt

* BEIJING C-PLATFORM DIGITAL TECHNOLOGY CO., LTD COPYRIGHT 2007 BEIJING C-PLATFORM DIGITAL TECHNOLOGY CO., LTD COPYRIGHT 2007 开源搜索引擎SOLR应用培训教程 （2010年12月） 目录 企业搜索引擎方案选型 Solr的特性介绍 Solr的安装与配置 Solr的应用过程 Solr的测试数据 一 企业搜索引擎方案选型 由于搜索引擎功能在门户社区中对提高用户体验有着重要作用，在门户社区中涉及大量需要搜索引擎的功能需求，目前在实现搜索引擎的方案上有集中方案可供选择： 基于Lucene自己进行封装实现站内搜索。工作量及扩展性都较大，不采用。 调用Google、Baidu的API实现站内搜索。同第三方搜索引擎绑定太死，无法满足后期业务扩展需要，暂时不采用。 基于Compass+Lucene实现站内搜索。适合于对数据库驱动的应用数据进行索引，尤其是替代传统的like ‘%expression%’来实现对varchar或clob等字段的索引，对于实现站内搜索是一种值得采纳的方案。但在分布式处理、接口封装上尚需要自己进行一定程度的封装。 基于Solr实现站内搜索。封装及扩展性较好，提供了较为完备的解决方案，因此在门户社区中采用此方案。 基于以述的几种方案的综合分析，对于我们公司的搜索引擎方案，采用solr来实现比较合适。 二 Solr的特性介绍 Apache Solr 使用 Java 语言开发的基于Lucene的一个企业级开源全文检索工具实现。当前的版本是Solr 1.4.1版本，它是1.4版的一个bug修复版，它将Lucene升级到了Lucene 2.9.3。Solr底层基于Lucene，而操作完全基于web方式，其相关特性如下： 高级的全文搜索功能：Solr使用Lucene并且进行了扩展? 基于开放接口（XML和HTTP）的标准 Solr对外提供标准的http接口来实现对数据的索引的增加、删除、修改、查询。在Solr中，用户通过向部署在servlet容器中的Solr Web应用程序发送 HTTP 请求来启动索引和搜索。 综合的HTML管理界面 可伸缩性－能够有效地复制到另外一个Solr搜索服务器 支持分布式部署和多核体系 使用XML配置达到灵活性和适配性 三 Solr的安装与配置-安装准备 安装准备 下载tomcat 6.0.20。 安装tomcat并调优：加大内存和并发连接 MaxThread 500 MinSpareThread 25 MaxSpareThread75 Xmx 1024M 操作系统网络参数优化 在/etc/sysctl.conf配置文件中增加如下内核参数： net.ipv4.tcp_syncookies = 1 net.ipv4.tcp_tw_reuse = 1 net.ipv4.tcp_tw_recycle = 1 net.ipv4.tcp_fin_timeout = 5 下载solr 下载中文分词器 下载词库 三 Solr的安装与配置-安装过程 安装过程 1）修改tomcat的配置文件./conf/server.xml Connector port=8080 protocol=HTTP/1.1 connectionTimeout=20000 redirectPort=8443 URIEncoding=UTF-8/ 注：如果没有设置URIEncoding=UTF-8，在提交查询的select的url会出现乱码，当然也就查不到了。 2）将下载的solr包下面的dist文件夹中的apache-solr-1.4.1.war 拷贝到 tomcat的webapps 并且改名为 solr.war 一般情况下会自动生成相应的文件夹。 3）新建/opt/solr-tomcat/solr文件夹，把下载solr包中的example/solr文件夹下面的所有文件放入到 /opt/solr-tomcat/solr里面。 4）最后一步 配置添加solr.home环境变量 ?在./bin/catalina.sh中添加如下环境变量： export JAVA_OPTS=$JAVA_OPTS -Dsolr.solr.home=/opt/solr-tomcat/solr 注：如果没有设定solr.solr.home环境变量或JNDI的情况下，Solr查找./solr，因此在启动时候需要切换到/opt/solr-tomcat 三 Solr的安装与配置-验证安装 验证过程 1）打开管理后台 打开浏览器，输入：5:18080/so