中文新词识别技术综述.pdfVIP

第37卷第3期 计算机科学 V01．37No．3 Science Mar2010 2010年3月 Computer 中文新词识别技术综述 张海军1，s 史树敏2朱朝勇1黄河燕2 (中国科学技术大学计算机科学与技术学院 合肥230027)1 (中国科学院计算机语言信息工程研究中心 北京100097)2(新疆师范大学计算机系 乌鲁木齐830054)3 摘要新词识别是中文信息处理领域的关键技术。新词识别主要包括候选字串的提取过滤和词性猜测两项任务。 中文没有特定符号标志词边界，因此任何相邻字符都有成词的可能性，这给新词提取过滤带来了很大困难；由于没有 先验知识和统计数据，新词词性猜测一直是中文词性标注的技术瓶颈。详细分析了中文新词识别技术的研究现状，重 点讨论了候选新词提取和词性猜测的研究方法与存在的主要问题，最后对新词识别研究方向进行了展望。 关键词新词识别，未登录词，候选字串，训练语料，词性猜测 中图法分类号TP391．1文献标识码A Words ofChineseNew Identification Survey ZHANG SHIShu-min2ZHU HUANG Hai-junl·3 Chao-yon91 He-yanz (Schoolof Scienceand ofScienceand ofChina。Hefei230027，China)1 Computer Technology．UniversityTechnology (Res呲hCenterof and Information of 100097，China)2 ComputerLanguage Engineering，ChineseAcademysciences，Beijing of Scienceand Normal 830054，China)3 (DepartmentComputer Technology。XinjiangUniversity，Urumqi Absh翟ctNewWordsIdentification(NWI)isa inthefieldofChineseinformation keytechnology processing．NWI includestwotasks：oneisnewwordscandidate and otherisnewwordsP()s mainly extractingfiltering，the guessing． Sincethereisno tomarkword forChinese charactersare tocorn— specificsymbol boundary words。anyadjacent possible dataarenot aword，whichalotofobstaclesforNWI．Moreover，becausethe andstatistical pose brings priork