面向文本知识管理自适应中文分词算法.pdfVIP

第33 卷第10 期 重 庆 大学 学 报 Vol.33 No. 10 2010 年10 月 Journal of Chongqing University Oct. 2010 : 1000582 (2010) 1011008 冯 永, 贺 迅, 唐 黎, 陈显勇, 陈 贞 (重庆大学 计算机学院,重庆 400044) :针对传统字典匹 分词法在识别新词和特殊词处理方面的不足, 结合2 元统计模型提 出了面向文本知识管理的自适应中文分词算法!!! SACWSASACWSA 在预处理阶段结合应用 有限状态机理论基于连词的分隔方法和分治策略对输入文本进行子句划分, 从而有效降低了分词 算法的复杂度; 在分词阶段应用 2元统计模型, 结合局部概率和全局概率, 完成子句的切分, 从而有 效地提升了新词的识别率并消除了歧义;在后处理阶段,通过建立词性搭 规则来进一步消除2 元 分词结果的歧义SACWSA 主要的特