4汉字串重叠式检索.doc

大规模中文语料库检索技术研究 余一骄1 刘芹2 1 华中师范大学语言学系 武汉 430079 2 武汉大学计算机学院 武汉 430072 汉字 中图法分类号　TP391.3　A Key Retrieval Technologies in a Large-Scale Chinese Corpus YU Yi-Jiao1 and LIU Qin2 Department of Linguistics, Central China Normal University, Wuhan, 430079 School of Computing, Wuhan University, Wuhan, 430072 Abstract The query requirements of large-scale Chinese corpora are different from those of general text retrieval system. Cici v2.0 is a Chinese corpus search system and provides linguistic query services: part-of-speech search, reduplicated words search, wildcard search, and Chinese N-gram string occurrence search. The N-gram string occurrences are accounted and indexed by Unicode and frequency, respectively. The search procedure is divided into three steps. First, search the Chinese N-gram occurrence statistic records and produce the candidate n-gram strings; then, refine search keywords according to users linguistic need; last, search these Chinese strings selected by users in the corpora and return the final results. Keywords Chinese Character, Corpus, Information Retrieval, Part-of-Speech, N-gram  1 前言 本文结构安排如下：第二部分；第部分全文。不到哪里去180,725,570次六字串匹配计算。 表1 N-gram串统计结果信息 字串长度 2 3 4 字串数量 4,029,779 43,697,074 116,935,223 文件大小 33MB 431MB 1.37GB 字串长度 5 6 7 字串数量 169,111,110 180,725,570 166,956,581 文件大小 2.31GB 2.82GB 2.94GB 字串长度 8 9 10 字串数量 144,484,470 120,936,642 99,518,860 文件大小 2.82GB 2.59GB 2.33GB 如何存储和索引汉字串频次统计结果对提高汉字串频次检索速度十分关键。根据汉字串频次分布极不均衡的状况，文献[3]按频次大小将汉字串频次信息分块存储，该方案有利于快速检索出高频汉字串。随着Cici的广泛应用，汉语研究者又提出要快速查询任意汉字串的频次。按频次排序存储汉字串统计结果，对低频汉字串特别是没出现过的汉字串的检索速度慢。因此，有必要按汉字串的Unicode编码来存储、索引汉字串频次信息。 图1 Cici中的索引与数据存储机制 汉字串频次统计结果的存储与索引有以下可能的方案：第一，仅保存按Unicode编码排序的汉字串频次统计结果，并根据汉字串Unicode编码来建立索引；第二，仅保存按频次大小排序的汉字串频次统计结果，根据频次大小建立索引；第三，同时保持按频次排序、按Unicode编码排序的汉字串频次信息，并分别建立索引。只保持一份汉字串频次统计信息显然更节省存储空间。但在Cici应用中发现，汉语研究者做非确定性汉字串检索和确定性汉字串检索都很频繁。为了使两类检索的响应速度都很快，Cici采用牺牲存储空间提高检索速度的策略，使用图1所示的存储、索引机制。 “语料检索分析进程”先分析用户提交的每一个检索请求，根据检索请求类型查询合适的索引表。如果是查询确定性汉字串的生语料文本，则读取“语料索引”，最终访问生语料。如果是查询首字确定的