语料库中基于出现环境的词的抽取和词性推定.pdf

」 语料库中基于出现环境的词的抽取和词性推定 谢军 兵藤安昭 池田尚志 日本国岐阜大学工学部应用情报学科 摘要 本文运用统计的力祛 对从汉语语料巾PI989抽取iudfl.f81f允 井从if3B-$fttli的词的侯补之间的环 境相似LA:出发.探讨了门动标注词性的可能性。我们认为 抽取词的判别为祛有助f利用计M 6辅助编辑 Al典的工竹‘ 关镇词 词语抽取 };p114t}-91,95W .n4RO1i WordExtractionandpart-of-speechestimation basedonStingEnvironmentsfromChineseCorpus JunMe, YasuakiHyodo, TakashiIkeda DeptofInformationScience,GifuUniversity,Japan 弓shieb,hyodo,ikeda池应迁劝肠澎fu-u.acjp Abstract7hispapadiscussesastatisticaltech内ue肪awordextractionandapart-of-speechestimationrfoma largeChinesecorpus.Webuildawordestimatoinfunctionusingleftandrightentropyofa2-characterstringandapply ittoastringdatafromalargearpus.Wealsodefineadegreeofsimilaritybetweentwosrtingsbasedontheirleftand rightIcharactreenvironment,andgiveatentativeideaaboutautomaticallytaggingPOSwiththesimilarity.Wethink thewordextractioncanbeincorporatedintoasupprotsystemfordictionarybuildingfromamwlargecorpus,howevre ourpresentPOStaggingtechniqueshouldbehunterrefinedforthisfield 孤叮，ar山 wordextraction,corpus,山scrimmation,dictionarycompilation ， 引言 从统计的角度对汉语语料库进行计算机处理是常用的方法。本义运用统计的方法.针对大 规模汉语语料库中的字符串是否是词的判别和词的提取作了研先 J手初步尝试了把提I加IJ;字符 串拟定为词.由它们之间环境相似度来推定其i1性。具体地说，我们对63M字节的 人《民日 报》it;料库进行了3元模型的统if-.并从两个字的字符串的出现次数、以及在该字符串出现 时左右各一个字的出现概率出发 求出一个推定字符串是不是词的函数。如果用字符串左右 相邻一个字的墒(entropy)来近似地描述字符串的出现环境 则其左右环境某种程度上分布比较 分散可以视为推断该字符串为词的条件f0。实验结果表明，不仅字符串在语料库中的出现次 .加 吕. 数 字符串左嫡与右嫡的差也有助于9`9别字符串是否是词。 2 3元模型统计和左右嫡 汉语两个字的词较多.我们对两个字的字符串做了统计。数据的取得方法如图1所示。 取出字。串 众 按汉字内码 语 料 片 一 .10,b 一 MA到 e b 归)r*序 多个Particia树