倒排索引规范书.docVIP

倒排索引规范书

一、倒排索引基础定义与核心架构

1.1倒排索引的本质

倒排索引（InvertedIndex）是一种用于全文检索的数据结构，与正排索引（ForwardIndex）相对应。正排索引以文档为中心，记录每个文档所包含的内容；而倒排索引则以词汇为中心，记录每个词汇出现在哪些文档中，以及相关的位置、频率等元数据。这种结构的核心价值在于能够快速定位包含特定词汇的文档，是搜索引擎、数据库全文检索、信息检索系统等的核心组件。

1.2核心组成结构

一个标准的倒排索引主要由**词典（Dictionary）和倒排列表（PostingList）**两部分构成：

词典：是所有唯一词汇的集合，每个词汇对应一个条目，通常包含词汇本身、词汇的哈希值、指向倒排列表的指针等信息。词典的实现方式直接影响检索的效率，常见的实现结构有哈希表、平衡二叉树、前缀树（Trie）等。

倒排列表：是与词典中每个词汇相对应的文档列表，每个列表项（Posting）包含文档ID、词汇在该文档中的出现频率（TF，TermFrequency）、词汇在文档中的位置信息、文档的长度等。在高级倒排索引中，还可能包含文档的权重（如IDF，InverseDocumentFrequency）、词汇的上下文信息等。

1.3倒排索引的类型

根据应用场景和存储方式的不同，倒排索引可以分为多种类型：

基本倒排索引：仅记录词汇与文档