基于相对条件熵的搭配抽取方法.PDF

2007 年 12 月 北 京 邮 电 大 学 学 报 Dec. 2007 第 30 卷 第 6 期 Journal of Beijin g University of Posts and Telecommunications Vol. 30 No. 6 ( ) 文章编号 2007 　　 基于相对条件熵的搭配抽取方法 1 1 1 1 2 王大亮 , 　张德政 , 　涂序彦 , 　郑雪峰 , 　佟子健 ( 1 北京科技大学 信息工程学院 , 北京 100083 ; 2 搜狐公司 研发中心 , 北京 100084) 摘要 : 针对以往研究将搭配视为词项的简单并置 ,而没有考虑词项间的倾向性问题 ,提出了一个基于相对条件熵的 搭配倾向统计模型 ,衡量中心词对上下文同现词的依赖程度. 此外 ,加入语言学启发式规则 ,利用词性过滤器和滑 动窗口的方法识别搭配边界 ,最终形成了在开放语料库环境下的搭配抽取方法. 该方法具有很强的解释性 ,有效地 揭示了搭配构成的内在机理. 经过证明 ,搭配倾向强度可以解释为由方向修正的互信息. 关 　键 　词 : 自然语言处理 ; 搭配抽取 ; 相对熵 ; 搭配倾向性 中图分类号 : TP391 　　　　文献标识码 : A Collocation Extraction Based on Relative Conditional Entropy 1 1 1 1 2 WAN G Daliang , 　ZHAN G Dezheng , 　TU Xuyan , 　ZHEN G Xuefeng , 　TON G Zijian ( 1. School of Information Engineering , University of Science and Technology , Beijin g 100083 , China ; 2. Department of Research and Development , Sohu. com Inc , Beijin g 100084 , China) Abstract : Current researches on collocation extraction consider that lexical combination is simply to put terms together , but ignores the collocation preference. To solve the problem , the collocation pre ference statistic model based on relative conditional entrop y is brought up to measure the dependence between headword and cooccurrence words in context . Then the linguistic heuristic rule is integrated to identify the border of collections , by partofspeech filter a