基于统计信息的未登录词的扩展识别方法.pdf

第 23 卷 　第 3 期 中文信息学报 Vol . 23 , No . 3 2009 年 5 月 J OU RN AL O F C H IN ESE IN FO RMA T ION PROCESSIN G May , 2009 文章编号 : (2009) 基于统计信息的未登录词的扩展识别方法 韩 艳 ,林煜熙 ,姚建民 (苏州大学 江苏省计算机信息处理重点实验室 ,江苏 苏州 2 15006) 摘 　要 : 该文提出一种基于网络资源的未登录词的扩展识别方法 。该方法以左右邻信息判断未登录词边界为基础 对已识别出的二元候选未登录词种子进行扩展 ,从而得到不限长度的语义更完整的未登录词 。实验证明该文方法 可行有效 。 关键词 : 计算机应用 ; 中文信息处理 ;未登录词识别 ;左右邻信息 ;最频繁左邻比;最频繁右邻比;候选 OOV 扩展 中图分类号 : TP39 1 　　　　文献标识码 : A Study on Chinese OOV Identif ication Based on Extension HAN Yan , L IN Yuxi , YAO J ianmin ( Provincial Key L aboratory of Comp ut er Information Processing Technology , Suzhou U niver sit y , Suzhou , J iangsu 2 15006 , China) Abstract : Thi s p ap er p ropo ses an app roach to Chinese OOV identification based on ext en sion accor ding to st ati stics form Web resources. We ext end t he bigram OOV seeds by t he left and right (L R) neighbor s on t he basi s of OOV bor der j udgment . It help s to identify OOV wit h int egrat ed meaning wit hout lengt h rest riction . Exp eriment al result s show t hat t he app roach i s effective and fea sible . Key words : comp ut er app lication ; Chinese information p rocessing ; OOV identification ; lr _ neighbor ; M FL N R ; M FRN R ; candidat e OOV ext en sion 本文提出一种基于网络资源的未登录词的扩展 ( ) 1 　引言 识别方法 。我们通过互信息 M I 与对数似然 比 (LL R) 获得二元串 ,通过停用词表过滤垃圾串 ,最后 本文的未登录词不仅仅指未在词典