汉语自动分词词典机制实验研究.pdfVIP

中　文　信　息　学　报 第 14 卷 第 1 期 JOURNAL OF CHINESE INFORMATION PROCESSING Vol. 14 No. 1 汉语自动分词词典机制的实验研究 孙茂松　左正平　黄昌宁 清华大学计算机科学与技术系 　北京 　100084 摘要 　分词词典是汉语自动分词系统的一个基本组成部分。其查询速度直接影响到分词 系统的处理速度。本文设计并通过实验考察了三种典型的分词词典机制 :整词二分、TRIE 索 引树及逐字二分 ,着重比较了它们的时间、空间效率。实验显示 :基于逐字二分的分词词典机 制简洁、高效 ,较好地满足了实用型汉语自动分词系统的需要。 关键词 　中文信息处理 　汉语自动分词 　汉语自动分词词典机制 An Experimental Study on Dictionary Mechanism fo