基于二级Hash快速最长匹配分词算法.pdfVIP

基于二级Hash 的快速最长匹配分词算法 殷鹏程，谭献海 西南交通大学，四川成都（610031 ） E-mail：ypc_swjtu@163.com 摘 要：中文分词是中文信息处理的基础，在海量的中文信息处理中，分词速度至关重要。 本文根据中文单词的特点，通过分析现有词典分词算法，提出了一种基于二级Hash 的快速 最长匹配分词算法。试验结果表明，该算法保证了分词的最长匹配，同时提高了分词的速度， 适用于小型搜索引擎和自动文本分类等应用。 关键词：中文分词；Hash 词典；最长匹配 度，而且满足最长匹配的分词需求。 1. 引言 2 ．二级Hash 词典的设计 在中文信息处理中, 如机器翻译、自动 分类等等，词是最小的具有独立活动的有意 为了提高分词的准确度，基于词典的分 义的语言成分。然而中文文本在计算机内部 词方法通常采用最长匹配算法。实验证明， 表示时，不像英文中词与词之间都有空格隔 如果分成的词语越长、分出的词语越少，分 开，中文词与词之间没有明显的分隔标记, 词的精确度就越高。通常基于 Hash 方法的 而是连续的汉字串。因此, 自动识别词的边 词典只对词语的首字符进行了 Hash ，这样 界, 将连续的汉字串切分为带有分割标记的 的词典虽然能实现快速查询，但是如果采用 词串将是实现中文信息处理的首要问题。 最长匹配算法，则需要对词典进行多次查 现有的分词算法可分为三大类：基于词 询，影响算法速度。 为了使词典更适合最 典的分词方法、基于理解的分词方法和基于 长匹配算法，通过对对汉字编码体系、汉语 统计的分词方法。无论哪种分词方法都需要 词语特点的分析，针对传统 Hash 词典的缺 将大量时间用于将待切分语句的切分为可 点，本文设计了一种基于二级 Hash 的词典 能的词，然后再依据统计或语法方面的规则 结构。 对切分出的词进行处理，得到一种最有可能 2.1 汉字编码体系 的切分结果。如果能加快初始切分的速度， 对于提高整个分词算法的速度也会有很大 汉字在计算机内部是以内码的形式进 帮助。由于词语信息都以词典的形式存储, 行存储的，汉字内码是汉字在汉字信息处理 所以在整个汉语分词过程中, 都需要频繁地 系统中最基本的表达形式，它与汉字交换 访问词典以获得词语信息。因此词典的查询 码、汉字区位码有一定的对应关系。由于自 速度是整个分词系统处理效率的关键所在。 定义编码顺序的特殊性，因而，可通过计算 现行常用的词典数据结构主要基于 偏移量的方法来定位该汉字在编码表中任 Hash 方法和索引树方法，根据汉字编码的 意的位置。国标 GB2312 汉字编码表共收录 一对一映射关系，实现了词典的快速查询， 了 6763 个汉字，汉字在编码表中的偏移量 但两种方法在构造词典时都没有考虑词语 计算公式如下： 的长度这个关键信息，因此不适合最长匹配 offset = (ch1 – 0xB0) * 94 + (