基于大规模语料库的新词检测.pdfVIP

计算机研究与发展 ISSNCN 11—1777|TP JournalofComputerResearchandDevelopment 43(5)：927～932，2006 基于大规模语料库的新词检测 崔世起 刘 群 孟 遥 于 浩 西野文人 (中国科学院计算技术研究所数字化技术研究室 北京 100080) (富士通研究开发中心有限公司 北京 100016) ’(中国科学院研究生院 北京 100049) (sqcui@ict．ac．cn) New W ordDetectionBasedonLarge-ScaleCorpus CuiShiqi～，LiuQun，MengYao ，YuHao，andNishinoFumihito (DigitalTechnologyLaboratory，InstituteofComputingTechnology，ChineseAcademyof Sciences，Bering100080) (FujitsuResearch＆DevelopmentCenterCo．，LTD，Beijing100016) (GraduateUniversityofChineseAcademyofSciences，Beijing100049) Abstract New worddetectionisapartofunknownworddetection．Thedevelopmentofnaturallanguages requiresUStodetectnew wordsassoonaspossible．In thispaper，anew approach todetectnew words basedonlarge—scalecorpusispresented．Itfirstsegmentsthecorpusfrom theInternetwithICTCLAS，and searchesforrepeated strings，andthendesignsdifferentfiltering mechanismstoseparatethetruenew wordsfrom thegarbagestrings，usingrichfeaturesofvariousnew wordpatterns．Whilegettingridofthe garbagestrings，threegarbagelexiconsandasuffixlexiconareused，whicharelearnedbythesystem，and goodresultsare achieved．Finally，theresultsofthe experimentsarediscussed，which seem to be promising． Keywords new word；garbagestring；garbagehead；garbagetail；IWP 摘 要 自然语言的发展提 出了快速跟踪新词的要求．提 出了一种基于大规模语料库的新词检测方法 ， 首先在大规模的]nternet生语料上进行中文词法切分，然后在分词 的基础上进行频度统计得到大量的 候选新词．针对二元新词、三元新词、四元新词等的常见模式，用 自学习的方法产生3个垃圾词典和一 个词缀词典对候选新词进行垃圾过滤。最后使用词性过滤规则和独立词概率技术进一步过滤．据此实 现了一个基于lnternet的进行在线新词检测的系统，并取得 了令人满意的性能．系统 已经可以应用到新 词检测、术语库建立、热点命名实体统计和词典编纂等领域． 关键词 新词 ；垃圾 串；垃圾头；垃圾尾 ；独立词概率 中图法分类号 TP391 法切分发挥着重要作用．中文词法切分的大部分错 引 言 误是由未登录词的识别错误造成的．未登录词主要 的形式包括人名、地名、机构名等命名实体，以及时 汉语通过派生、复合、缩写等形式产生了很强的 间词、数量词和普通的语法派生词等 j．对命名实 造词功能 ，而任何一部汉语词典都不可