网络搜索引擎原理-007.introduction to xapian.pptVIP

索引数据量太大，如何可扩展？ 更新慢 搜索慢 伸缩性小 按不同维度分拆成多个索引 按照不同栏目 不同的类型的数据 轻松支持多库搜索 Add_database Xapian分库查询 索引数据库位于远端的服务器 直接打开远端的数据库 2种方法 Prog Xapian.database(Xapian::Remote::open(ssh, xapian-progsrv /var/lib/xapian/data/db1)); 服务器 xapian-tcpsrv:?--port?33333 Xapian::Database database(Xapian::Remote::open(searchserver, 33333)); Xapian分布式搜索 采用原始方式 停止写数据库，拷贝数据库 使用支持快照的文件系统(LVM - Logical Volume Manager) 无法增量备份 Xapian备份 Xapian会有很多预留空间，便于快速修改 可使用xapian-compact工具进行压缩 数据库变小 搜索会更快 但修改会变慢 仅仅在很少修改的时候做这个 Xapian数据压缩 直接支持！ Xapian Replication 搜索速度快，支持大数据量 强大的全文搜索 内存占用少 嵌入式，简单 支持“实时”索引 Xapian优点 不能统计: Sum/Group 文档资料不够丰富 开发维护人员少 Value必须为字符串，更占用存储空间 Xapian问题 简捷之美 整体设计精巧 多方面因素做到了平衡 Xapian总结 两种方式 调用分词（ICTCLAS等）API，将分词结果使用Xapian接口建索引 Hacking QueryParser 典型代表：Xunsearch （/） Xapian中文支持 高性能、多功能的全文检索解决方案 后端采用 C/C++ 开发多线程服务端，索引设计基于 Xapian 和 scws 中文分词 前端是使用脚本语言编写的开发工具 (SDK)，目前支持 PHP 语言 除支持基础的自定义分词、字段检索、布尔搜索外，还直接支持相关搜索、拼音搜索、搜索建议等专业功能 Xunsearch ======================= | Your Search Application | ======================== /\ /\ ................ /||\ ............ /||\ .................... : || || : : +-------------------------------------+ : : | [PHP] | other lang | : : |---------------------------------------| : : | SDK: (xunsearch devkit) | : : +--------------------------------------+ : : / \ : : / \ : : +---------------------+ +----------------------------+ : : | Index-server | | Search-server | : : |-----------------------| |------------------------------| : : | xs-indexd | | xs-searchd | : : | xs-import | | 1*m