站内全文检索系统技术白皮书.pdfVIP

站内全文检索系统 技术白皮书 北京词网科技有限公司 第一版 2008.5 目录 1 概述3 2 应用范围3 2.1 大型门户网站3 2.2 分类信息、点评类网站3 2.3 社区、论坛4 2.4 博客、社交类网站4 2.5 网校、教育类网站4 2.5 企业网站5 3 主要特性5 4 系统结构图6 5 系统对接方式6 6 性能与可扩展性6 6.1 系统性能6 6.2 可扩展性7 7 维护与更新7 1 概述 本系统主要面向大中型网站、企业网站，为其提供一站式的全文、数据检索 解决方案。经过简单配置，本系统可支持对数据库内信息的快速检索，也可 配合根据客户网站定制的采集系统，对客户网站的页面内容进行检索。 本系统以独立服务的形式提供，客户拥有独立的维护界面，与客户现有网站 采用接口形式对接，便于二次开发和后续维护。与客户应用逻辑无关的检索 服务，可为各种需要检索功能的网站提供有效的帮助。 本系统采用Linux操作系统平台，以C为主要开发工具，运行效率和稳定性 居同类产品前列，并为客户提供培训和远程支持服务。 2 应用范围 2.1 大型门户网站 大型门户网站的内容信息繁多，用户通过传统的频道形式逐层访问、查找信 息非常困难。此时站内全文检索功能的作用就可以展现出来，通过检索功能， 用户可以方便的进行全文检索，从而使网站内容被充分的利用。有效的提升 了门户网站的用户停留时间和pageviews 通过可定制的抓取引擎，本系统可以做到比通用搜索引擎更细致的抓取，此 前无法被搜索引擎抓取的动态页、次级页，也可以被本系统检索到，且可以 分类索引、查找，大大提高了用户体验。 本系统在此应用范围的典型客户：南方报业集团、21世纪经济报道 2.2 分类信息、点评类网站 分类信息、点评类网站的重要特征是结构化信息较多、内容更新速度快。针 对此类网站，本系统提供了基于数据库的检索模块，现在我们支持包括 mysql、SQL Server、Oracle在内的多种数据库接口，客户只需将要检索的 内容放置于数据库，简单配置或由我们的售后服务人员帮助配置后，马上就 可以利用本系统为用户提供检索服务。 针对分类信息类网站内容更新特别是新增速度快的特点，本系统支持快速索 引服务，通过专门优化的算法和内存调度方案，可以确保内容发布后，5分 钟内即可被本系统检索到。1 本系统在此应用范围的典型客户：赶集网 2.3 社区、论坛 社区、BBS类网站一般采取论坛软件内置的检索模块，此类模块为确保最大 兼容性，一般采取数据库查询的形式进行全文搜索，在内容量达到一定程度 之后，每次搜索均会占用大量的系统资源，严重的会导致程序、服务器挂起。 所以，大多数论坛类网站均会对用户的检索行为进行一定的限制，此种限制 虽然保证了正常运行，但却严重的影响了用户体验，使用户不得不对一些常 见问题频繁发问，影响论坛的交流秩序。 本系统针对社区、论坛类网站提供了论坛检索解决方案，对论坛内的帖子、 回帖进行索引，并提供基于插件形式的模块，客户只需用本系统提供的插件 替换掉原有的论坛检索，即可马上解决检索难题。本系统目前提供了 Discuz!、phpwind、动网等多种论坛的检索插件，对于不常见或客户自行开 1 视数据量而定，需较高性能的设备支持 发的论坛，我们也有可用的解决方案。 本系统在此应用范围的典型客户：程序员社区（）论坛检索 2.4 博客、社交类网站 博客类网站内容范围宽泛、话题随意性强，而且时常出现违规、违法内容， 如网站监管不到，难免出现不必要的问题。 针对这一问题，本系统在提供面向用户的检索服务之外，还支持特定关键词 的检索和屏蔽功能，通过网络更新，会自动更新最新的关键词表，然后做出 如下两项技术限制： 1、对特定关键词的查询请求返回无结果提示，避免可能存在的违规内容被 检索到。 2、对特定关键词进行内部检索，帮助网站管理员及时发现违规内容，并在 第一时间予以