中文分词安装实现中文全文.doc

Sphinx Mysql 中文分词安装 实现中文全文 Sphinx+Mysql+中文分词安装-实现中文全文搜索2010-03-30 16：45什么是Sphinx Sphinx是一个在GPLv2下发布的一个全文检索引擎，商业授权(例如,嵌入到其他程序中)需要联系我们(S)以获得商业授权。一般而言，Sphinx是一个独立的搜索引擎，意图为其他应用提供高速、低空间占用、高结果相关度的全文搜索功能。Sphinx可以非常容易的与SQL数据库和脚本语言集成。当前系统内置MySQL和PostgreSQL数据库数据源的支持，也支持从标准输入读取特定格式的XML数据。通过修改源代码，用户可以自行增加新的数据源(例如：其他类型的DBMS的原生支持)。搜索API支持PHP、Python、Perl、Rudy和Java，并且也可以用作MySQL存储引擎。搜索API非常简单，可以在若干个小时之内移植到新的语言上。Sphinx是SQL Phrase Index的缩写，但不幸的和CMU的Sphinx项目重名 Sphinx的特性 高速的建立索引(在当代CPU上，峰值性能可达到10 MB/秒)； 高性能的搜索(在2– 4GB的文本数据上，平均每次检索响应时间小于0.1秒)； 可处理海量数据(目前已知可以处理超过100 GB的文本数据,在单一CPU的系统上可处理100 M文档)； 提供了优秀的相关度算法，基于短语相似度和统计(BM25)的复合Ranking方法； 支持分布式搜索； provides document exceprts generation； 可作为MySQL的存储引擎提供搜索服务； 支持布尔、短语、词语相似度等多种检索模式； 文档支持多个全文检索字段(最大不超过32个)； 文档支持多个额外的属性信息(例如：分组信息，时间戳等)； 停止词查询； 支持单一字节编码和UTF-8编码； 原生的MySQL支持(同时支持MyISAM和InnoDB)； 原生的PostgreSQL支持.一、安装所需文件mmseg-0.7.3.tar.gz中文分词mysql-5.1.26源代码 sphinx-0.9.8-rc2.tar.gz sphinx-0.9.8-rc2源代码sphinx支持分词补丁sphinx支持分词补丁二、开始安装1.安装libmmseg tar-zxvf mmseg-0.7.3.tar.gzcd mmseg-0.7.3./configure--prefix=/usr/local/mmsegmakemake installcd.安装mmseg完成,测试一下 mmsegCoreseek COS(tm)MM Segment 1.0Usage：mmseg option file-u unidict Unigram Dictionary-r Combine with-u,used aplain text build Unigram Dictionary,default Off-b Synonyms Synonyms Dictionary-h print this help and exit有问题可以尝试执行下面命令 echo/usr/local/mmseg/lib/etc/ld.so.confldconfig-vln-s/usr/local/mmseg/bin/mmseg/bin/mmseg2.重新编译mysql在安装之前先打两个补丁,这个是支持中文必须打的补丁 tar-zxvf sphinx-0.9.8-rc2.tar.gzcd sphinx-0.9.8patch-p1./sphinx-0.98rc2.zhcn-support.patchpatch-p1./fix-crash-in-excerpts.patch之前我已安装了mysql 5.1.26,这里略过具体安装步骤mysql编译路径/root/lemp/mysql-5.1.26-rc/mysql安装路径/opt/mysql 安装之前关闭mysql /opt/mysql/bin/mysql.server stop接着将sphinx下的mysqlse文件夹下的数据拷贝到mysql-5.1.26-rc/storage/sphinx下面(这样才能在编译mysql的时候把SphinxSE存储引擎编译进去) c p-rf mysqlse/root/lemp/mysql-5.1.26-rc/storage/sphinxcd/root/lemp/mysql-5.1.26-rcmake cleansh BUILD/autorun.sh#这步是必须的,请勿遗漏开始重新编译 CFLAGS=-O3CXX=gcc CXXFLAGS=-O3-felide-constructors-fno-exceptions-fno-rtti./co