中英文发现系统转接层子系统索引子系统设计与实现.doc

论文摘要 中国于1994年进入INTERNET，之后INTERNET在中国得到了迅速的发展，中文的WWW信息也迅速增加。这使得在搜索中文信息时也需要一定的搜索工具。由于世界上现有的搜索引擎大部分都是针对英文设计的，它们或支持中文的能力很差，或根本不支持中文。个别支持中文搜索的搜索引擎，它们的数据库中所包含的中文信息的数量十分小，搜索的结果非常不理想。对于日益增长的中国INTERNET来说，实现一个具有大量中文信息数据库，能够良好支持中文检索的搜索引擎已是一种迫切的需求。 本论文所描述的系统即是作者参与设计和实现的一个支持中文的搜索引擎。它即支持对中文，英文的简单检索，又支持逻辑运算，模糊匹配等高级检索。它通过对中文的分词，实现了对在中文词汇一级检索的支持；通过对中文，英文的编码，实现了对中文，英文系统核心实现的一致化；通过两级索引机制和索引项的特殊设计，实现了检索的快速命中。 论文首先介绍了系统设计和实现的一些背景资料，介绍了WWW的发展于现状，世界主要搜索引擎及其比较，中文的特点与搜索引擎对中文的支持。之后，描述了系统的整体设计，详细介绍了转接层子系统和索引数据库子系统的设计。 关键词：搜索引擎 中文分词 索引数据库 编码方案 目录 第一章 背景介绍....................................................................................3 §1.1 Internet和WWW的发展与现状......................................................3 §1.2 世界主要得搜索引擎及其比较.......................................................4 §1.3 中文的特点和搜索引擎对中文的支持............................................6 第二章 系统概述...................................................................................10 §2.1 系统设计目标.................................................................................10 §2.2 系统总体结构.................................................................................10 第三章 转结层子系统的设计..........................................................12 §3.1 转结层子系统的设计思想..............................................................12 §3.2 中文编码互换.................................................................................13 §3.3 中英文编码方案.............................................................................14 §3.4 中文分词........................................................................................17 §3.5 中英文词汇的自动学习..................................................................19 第四章 索引数据库子系统的设计.................................................21 §4.1 索引数据库系统的设计思想...........................................................21 §4.2 索引数据库的设计..........................................................................22 §4.3 索引数据库的更新和维护...............................................................23 §4.4 索引数据库的检