基于Markov概念自动抽取算法.docVIP

基于Markov概念自动抽取算法 　　摘要：提出了一种概念自动抽取算法，该算法的目的是从英文文本中抽取出由多个单词组成的概念。文中首先证明了概念的抽取过程是一个多个状态的齐次Markov链，然后给出了具体的抽取过程，即，如果多步转移概率达到所给定的阈值，则将这多个状态，即多个单词，看作是一个概念。为了对算法进行性能测试，借助网络爬虫，从网络中获取有关计算机领域的文本文档，采用本文算法进行概念抽取，结果显示该算法优于其他算法。 　　关键词：马尔克夫；概念；转移概率；概念抽取；规则 　　中图分类号：TP391.1 文献标识码：A 　　1 引言 　　概念在本体中处于重要位置。随着社会的发展，新的概念，尤其是多个单词组成的概念层出不穷，从领域文档、互联网中抽取出这些概念来丰富领域知识库是一项有意义的工作。人工获取概念是效率低，费时费力，而概念的自动抽取在信息处理等应用中扮演着重要角色。目前主要的抽取方法都是基于统计、规则和二者混合的方法，笔者于本文中提出Markov的概念抽取方法，该方法可以从英文文本中抽取出包含多个英文单词的概念。 　　2 相关工作 　　本节将对目前采用的概念自动抽取算法进行讨论，分析其优缺点，在此基础上阐述本文算法。 　　基于规则的方法是建立一系列的模板，和模板相匹配的概念即为领域概念，如N（其中A为形容词，N为名词，P表示介词）[1]，符合这个形式则作为一个概念。还有一种改进的空间概念抽取算法，算法中通过一定的规则去获取两个义素之间的语义关系，通过两义素的相似度值来获取空间概念间的相似度，从而抽取出空间概念[2]。从金融领域资源中抽取出相关概念的方法，其中也用到规则模板的制定[3]。总之，该类方法中均根据一定的规则制定相应的模板，但是模板是人工建立，毕竟人们的知识有限，不可能制定出面向全部语法规则的模板，有必要建立一种适用某个领域概念抽取的完善的模板，但是这是一项非常困难的工作。 　　基于统计的方法有基于频率，基于统计，基于互信息（Mutual Information MI）或信息熵等技术，Damerau提出的是一种基于互信息的方法，要抽取的概念中包含了两个单词和，Damerau认为如果两个单词和的MI值大于某给定阈值，则该两单词可以被看作为一个概念。但是MI方法会把与看作是一个概念，这将影响到概念抽取的准确率。一种基于最大熵模型的本体概念获取方法，通过对领域文本进行挖掘得到名词性短语，再使用改进的TF-IDF公式从中抽取具有领域性的短语[4]。Dinh等人[5]在抽取生物医学概念时采用了纯统计向量空间模型，借助词袋概念以及单词在文本中的位置特征抽取相关概念。 　　统计和规则二者相结合的方法称之为混合法，该方法是通过制定规则，实现筛选，然后对筛选的数据进行统计，并从中抽取概念，对概念赋值并统计大小，根据值的大小，证明是否是领域概念。一种与领域无关，并且是半自动的概念抽取方法是Frantzi提出的[6]，在这个方法中对C-value和NC-value分别进行抽取，其中C-value的抽取用到了语言学知识（其中包含词性标注，语法过滤等），也用到了统计学知识，如表达式（1）： 　　这时C-value的表达式，其中，是概念频率，是包含的待抽取的概念集合；是集合中概念个数。因为C-value方法因为语法过滤器的选择会影响该算法的召回率和准确度。而将表达式（1）纳入概念抽取，就会形成C-value的扩展，也就是NC-value，如表达式（2）： 　　是待抽取概念，是作为的上下位单词所出现的频率，是单词的权值，是集合的单词，是单词的直接上下位单词的集合。 　　张新等人提出了一种基于规则与统计的本体概念自动共聚方法，从领域文本中通过语义串切分、规则匹配、领域归属度分析和概念约简算法自动获取领域概念[7]。但是其中的词性组合规则不易把握，如何将规则定义的完善是该方法需要解决的问题。 　　3 基于Markov的概念抽取算法 　　该算法是针对多个单词组成的概念，如campus violence，French riots，911 terrorist attack等。这就好比是马尔可夫链，多个单词的概念抽取可看作是多态的，并设定一个多步转移率的阈值，如果超过该阈值，就把这个多态链称为一个概念，这种方法从模型上看计算简单，准确率也高，相应的抽取概念的效率自然也会提高。[8] 　　3.1 概念的Markov性 　　要把领域文档看作一个概念集合，而且是自动抽取概念的过程，就必须以信息学的角度进行分析。这里的概念集合设为，其中，是概念集合当中的元素，而是元素的个数，也就是单词的个数，那么多个单词的抽取，就是从集合中抽取多个元素的概念。 　　下面证明概念抽取过程的Markov性。 　　证明：假设多；领域文档中