大数据技术基础及应用实验手册10.Solr全文检索服务实战.pdfVIP

10Solr全文检索服务实战

10.1实验背景

Solr是一个高性能，基于Lucene的全文检索服务。

Solr对Lucene进行了扩展，提供了比Lucene更为丰富的查询语言，同时实现了可配

置、可扩展，并对查询性能进行了优化，还提供了一个完善的功能管理界面。

SolrCloud从Solr4.0版本基于Solr和Zookeeper进行开发，具有开创意义的分布式

索引和搜索方案。

10.2实验目的

将HDFS中的数据批量导入Solr中，建立索引

使用HBaseIndexer为存储在HBase表的数据建立索引，HBase是作为原始

数据的存储端，Solr是作为索引数据的存储端

对查询返回结果中的敏感词进行过滤

10.3实验前提

实验环境创建成功后，请等待1-2分钟，后台在执行start-oms.sh脚本：

1.执行sh${BIGDATA_HOME}/om-server/om/sbin/status-oms.sh命令查看OMS

的状态，显示信息表示主备OMS服务启动正常再执行下一步。

2.在windows-client打开GoogleChrome浏览器登录FusionInsightManager

地址（00:8080/web）。

3.用户名admin，密码Huawei!@34（如原密码过期，则自行修改密码）

4.登录FusionInsightManager后，单击“服务管理”，选择“更多操作启

动集群”。

5.在弹出的提示框中单击“确定”，开始启动集群。界面提示“操作成功。”，

单击“完成”，集群成功启动。

10.4实验任务

10.4.1使用Solr客户端

步骤1使用客户端

1.使用PuTTY工具，以客户端安装用户，登录安装客户端的节点。

2.执行以下命令，切换到客户端安装目录。

cd/opt/hadoopclient

3.执行以下命令配置环境变量。

sourcebigdata_env

4.判断集群认证模式。

kinit组件业务用户(user01)

5.直接执行Solrshell命令。

例如，solrctl--help

10.4.2业务操作流程

Solr常见的业务操作流程如下：

1.更新默认配置集文件，上传给ZooKeeper。

Solr需要指定配置集创建Collection，配置集主要有两个配置文件：一个是

“solrconfig.xml”（主要定义Solr的处理程序和一些扩展程序）；另一个是

“managed-schema”（主要定义索引的字段和字段类型）。用户可以首先获取Solr的默

认的配置集confWithSchema，对其配置集文件进行修改后上传。

2.创建Collection。

根据业务的需要，指定配置集创建Collection。

3.查询Collection的状态。

登录FunsionInsightManager，单击“服务管理Solr”，确认Solr的实例全部正

常工作。

单击SolrWebUI的“SolrServerAdmin”（两个任选一个）进入SolrAdmin页面。

在SolrAdmin页面，选择“CloudGraph”即可查看Collection的状态。

4.导入数据，创建索引。

根据不同的业务需求，可以分为：

•SolroverHBase：Solr索引HBase上的数据。

•SolroverHDFS：Solr索引HDFS上的数据。

•Solrj：通过客户端开发创建索引，具体参考产品文档《应用开发指南》中Solr相

关章节。

5.查询索引数据。

6.删除索引数据。

7.删除Collection。

10.4.3SolroverHBase

操作场