基于双数组Trie(Double-ArrayTrie)的词典查询算法.pptVIP

基于双数组Trie（Double-Array Trie）的词典查询算法 王小飞 2004-9-17 提纲 词典查询算法简介 双数组Trie的数据结构 基于双数组Trie的词典查询算法 存在的问题及一些改进 词典查询算法简介 在汉语信息处理系统中，汉语词典查询是一个重要的基础环节，在整个处理过程中都需要频繁地访问词典以获得汉语词语知识。因此汉语词典的快速查询对整个系统的效率有着非常重要的影响。 大部分的词典结构都是基于hash方法。这种方法的关键技术在于hash函数的设计，采用合理的方式来调节数据块的分配，控制分布的均匀性，减少冲突，提高空间利用率。 词典查询算法简介 目前的几种典型词典查询方法： 1.整词二分法 2.Trie索引树法 3.逐字二分法 词典查询算法简介 整词二分法 结构：首字散列表、词索引表、词典正文 优点：数据结构简单、占用空间小。 缺点：全词匹配，效率相对来说不高。 Tire索引树法 结构：首字散列表、Trie索引树结点 优点：分词中，不需预知待查询词的长度，沿树链逐字匹配。 缺点：构造和维护比较复杂，单词树枝多，浪费了一定的空间。 逐字二分法 结构：同整词二分法 优点：查询采用逐字匹配，提高了一定的匹配效率。 缺点：由于词典结构未改变，效率的提高有限。 双数组Trie的数据结构 Trie树： Trie树是搜索树