词语搭配在文本中的分布特征研究.pdf

词语搭配在文本中的分布特征* 孙宏林 北京大学计算语言学研究所，北京，100871 北京语言文化大学语言信息处理研究所，北京，100083 E-mail:sunhlgblcu.edu.cn 摘 要 确定搭配候选的观察窗口是词语搭配自动抽取工作的基础。本文首先在大规模汉语语料 中统计了名词、动词、形容词的搭配词语的分布情况，得出抽取这三类词搭配词语的最佳观察窗 口。然后，进行了搭配自动抽取的对比实验，结果表明利用搭配词语的分布特征可以显著提高自 动抽取的准确率和召回率。最后，本文得出两点结论 ((1)搭配的分布与具体语言相关:(2)搭配 的分布与其中的词类和语法关系相关. 关键词 词语搭配，词汇获取，语料库语言学。 DistributionalPropertyofCollocationsintheTexts SunHonglin InstituteofComputationalLinguistics,PekingUniversity CenterforLanguageInformationProcessing,BeijingLanguageCultureUniversity Abstraet Theselectionofwatchwindowiscriticaltotheautomaticextractionofcollocations.In thispaper,thedistributionalproperytofawordscollocatesisinvestigated勿casestudyofthreewords inalargecorpus.Thestatisticsindicatethatthebestwatchwindowinncollocationextractionis1-2,+1], 卜3,+4],[-1,+2]fornoun,verbandadjectiverespectivelyinChinese.Thenacomparativeexperiment basedontwowatchwindowsisconductedandtheresultsshowthattakingadvnatageofthe distributionalproperytofcollocatescanimprovebothprecisionnadrecallsignificnatly.Atlast,two conclusionsconcerningthepropertiesofcollocationsaredrawn,i.e.theyarelnaguagespecificnad boundupwiththegrammaticalcategoryofthewordsconcernednadthepossiblegrammaticalrelations Keywords collocation,lexicalacquisition,corpuslinguistics 1引言 词语搭配(collocation)是语言组合中的现象，它描述一个词与其他词的组合情况。尽管 人们对其范围的认识还存在差异，但都有这样一点共识，即大量收集语言中词语搭配的数 据无论对于第二语言学习还是自然语言处理都是十分重要的。由于词语搭配涉及到具体词 的组合，数据的分布比较稀疏，因此依靠人的直觉或靠人工收集材料来编纂搭配词典不仅 本项研究得到国家自然科学基金和教育部青年社科基金资助. -230- 费时费力，而且难以全面、客观地反映词语搭配的真实面貌。随着电子文本的增加，80年 代初国外的学者开始探索从大规模语料库中自动获取英语的词语搭配知识((1ajd5))，而在这方 面F.Smadja所做的工作8)7t11( 最为完整，影响也最大。近年来，也有一些关于在法语、德 语等其他语言中进行搭配自动抽取工作的报道(如121.131) 汉语词语搭配的自动抽取研究近两年才刚刚开始，孙茂松等191借鉴国外的方法开始了 这方面的初步探索。在其抽取算法中，主要应