基于最大匹配的中文分词概率算法研究.pdfVIP

第 36卷 第 5期 计 算 机 工 程 2010年3月 ，．6 No．5 ComputerEngineering M arch 2010 · 人工智能及识别技术 · 文章编号：10oo—_3428(2o10)05—-0l73—_o3 文献标识码：A 中图分类号：TP301．6 基于最大匹配的中文分词概率算法研究 何国斌，赵晶璐 (西南大学计算机与信息科学学院，重庆 400715) 摘 要：结合顺序表和跳跃表的快速查询特性，提出一种改进的整词分词词典结构，主要采用哈希法和二分法进行分词匹配，并针对机械 分词算法的特点，引入随机数 ，探讨一种基于最大匹配的分词概率算法。实验表明，该算法具有较高的分词效率和准确率，对消去歧义词 也有较好的性能。 关键词：分词词典；跳跃表；分词算法；概率算法 ResearchonProba