互信息改进方法在术语抽取中的应用.pdfVIP

JournalofComputerApplications ISSN 10o1．9081 2015．．04．10 计算机应用，2015，35(4)：996—1000，1005 C0DENJYIIDU http：／／www．joca．en 文章编号：1001—9081(2015)40—0996-05 doi：10．11772／j．issn．1001—9081．2015．40 ．0996 互信息改进方法在术语抽取中的应用 杜丽萍 ，李晓戈 ，周元哲 ，邵春昌 (1．西安邮电大学计算机学院，西安 710121； 2．中央民族大学 理学院，北京 100081) ( 通信作者电子邮箱 lixg@xupt．edu．ca) 摘 要：为了确定改进互信息(PMI)方法的参数 取何值时能够克服互信息(PMI)方法过高估计两个低频且总 是一起 出现的字串间结合强度的缺点，解决术语抽取 系统采用经过分词的语料库时由于分词错误导致的某些术语无 法抽取的问题 ，以及改善术语抽取 系统的可移植性 ，提 出了一种结合 PMI和两个基本过滤规则从未经过分词 的语料 库中进行术语抽取的算法。首先，利用PMI方法计算两个字之间的结合强度，确定2元待扩展种子 ；其次，利用PMI 方法计算 2元待扩展种子分别和其左边、右边的字的结合强度 ，确定 2元是否能扩展为3元 ，如此迭代扩展 出多元的 候选术语；最后，利用两个基本过滤规则过滤候选术语 中的垃圾 串，得到最终结果。理论分析表明，当k≥3(k∈N+) 时，PMI方法能克服PMI方法的缺点。在 1GB的新浪财经博客语料库和300MB百度贴吧语料库上的实验验证 了理 论分析的正确性，且PMI方法获得了比PMI方法更高的精度，算法有 良好的可移植性。 关键词 ：术语抽取；专业术语 ；知识获取；互信息 中图分类号：TP391．1 文献标志码：A Applicationofimprovedpoint-wisemutualinformation in term extraction DU Liping，LIXiaoge ，ZHOU Yuanzhe，SHAO Chunchang (1．CollegeofComputerScienceandTechnology，XianUniversityofPostsand Telecommunications，XianShaanxi710121，China； 2．CollegeofScience，MinzuUniversityofChina，Beijing100081，China) Abstract：Fhetraditiona1Point—wiseMutualInformation(PMI)methodhasshortcomingofovervaluingtheco—occurrence oftwolow一~equencywords．TogetthepropervalueofkofimprovedPMInamedPMI toovercometheshortcomingofPMI， andsolvetheproblem thattheterm extractioncannotbeobtainedfrom asegmentedcorpuswithsegmentationerrors，aswellas maintainingtheportabilityofterm extraction system，combiningwith thePMI method and twofundamentalrules，a new methodwasputforward toidentity termsfrom anunsegmented COprUS．Firsdy，2-gram extendedseed wasdetemr ined by c