中文信息学报双数组Trie树算法优化及其应用研究.PDFVIP

中　文 　信 　息　学 　报 第 20卷 第 5期 　 JO URNAL O F CH INESE INFO RM A T IO N PROCESS ING Vol. 20 No. 5 文章编号 : 1003 - 0077 (2006) 05 - 0024 - 07 双数组 Tr ie树算法优化及其应用研究 王思力1, 2 , 张华平 1, 2 ,王斌 1 ( 1 中国科学院 计算技术研究所 ,北京 　100080; 2 中国科学院 研究生院 ,北京 　100039) ( ) 摘要 :本文对双数组 Trie树 Doub leA rray Trie 算法提出了一种优化策略 ,即在采用 Trie树构造数组的过 程中 ,优先处理分支结点数更多的结点 。这种优化策略可以在保证该算法数据查找效率不变的同时 ,进一步 减少数据稀疏 ,提高空间利用率 。我们基于该优化算法实现了一个词典管理程序 ,并与利用其他索引机制的 词典进行了实验对比。实验结果表明 ,利用优化的双数组 Trie 树算法的词典不仅在查询速度上优于用其他 索引机制的词典 ,而且存储数据的空间占用也比较小 。 关键词 :计算机应用 ; 中文信息处理 ;双数组 ; Trie树 ;词典 ;分词 中图分类号 : TP39 11　　　　文献标识码 : A Research of O p tim iza tion on D oub leA rray Tr ie and its A pp lica tion 1, 2 1, 2 1 WAN G Sili , ZHAN G Huap ing , WAN G B in ( In stitu tion of Compu ting Technology, The Ch inese A cademy of Sciences, B eij ing 100080 , Ch ina ; Graduate School of the Ch inese A cademy of Sciences, B eij ing 100080 , Ch ina) A b stract: Th is p ap er p ropo se s an imp roved strategy for the algorithm of Doub leA rray Trie that is, the node w ith mo st ch ild node s is p raessed firstly when con structing the arrayTh is strategy can reduce the data sp arseness and keep the search efficiency m eanwh ile. W e imp lem ent a p rogram for lexicon m anagem ent ba se on the imp roved Doub leA rray Trie and comp are it w ith other index m echan ism s The re su lts clearly show that the imp roved Doub leA rrayTrie algo rithm ha s a m uch h igher search sp eed and need s a sm aller sp ace for data store than other index m achan ism s. Key word s: comp uter app lication; Ch ine se inform ation p roce ssing; Doub