改进基于关系IR技术分析.docVIP

改进基于关系IR技术分析 　　摘要:基于关系的信息检索技术或基于语义的IR技术仍存在显而易见的缺陷,即不能明确关系本身。本文介绍了一种改进的基于关系的IR技术,明确关系的取值和属性,整合概念对和关系的信息为三元组表达式,通过适当的匹配方法获取未知信息。 　　关键词:信息检索技术;基于关系;IR 　　一、引言 　　在众多的文本信息处理技术中,IR技术是最常用,也是大规模文献数据挖掘技术中的重要部分。随着社会发展,IR几乎涉及到了每一个人的每一天,如使用web搜索引擎或查找邮件。IR技术在巨大需求下迅猛发展,压倒传统的数据库搜索方式,成为占统治地位的信息获取途径。 　　二、基于语义的IR技术 　　随着科学技术和通信技术的发展,人们开始重视符号背后代表的语义信息。现实世界中每一个事物总存在着基于广泛共识的本质的区别于其它事物的特征和属性,即一个事物的概念,用概念代表事物而不是用符号,可以避免通信或科研中由多词同义和一词多义带来的歧义问题,有利于人们对事物达成统一的认识。事物、概念和符号的联系和区别。 　　概念一般是公认的准确全面的描述,却不易使用,如果给每个概念一个唯一的ID标识,则会带来极大的方便。基于语义的IR技术使用UMLS, WordNet等本体库作为语义的基础和标准,在语义层面上理解和处理查询或文本。例如,在一次信息检索过程中,用户输入的查询是:计算机(符号),可知他的查询本意是查找名叫“计算机”或“电脑”(符号)的“用来计算的仪器,尤指可进行高速数学或逻辑运算或汇编、存储、整理或处理信息的可编程的电子机器”(概念)对应的相关文本。如果上述概念有一个公认的唯一的概念ID: 1234(概念与概念的ID的对应关系一般由本体库收录),则用户输入“计算机”作为初始查询时,系统确定对应的概念ID,并应用这个唯一ID进行检索。 　　三、改进的基于关系的IR技术 　　传统的IR用词汇项表示文本,后来改进为基于语义的方法,用概念(concept)表示文本,近年来的基于关系的IR技术有了重大突破,考虑了概念间的关系,把IR技术提高到新的层次。但是这种被称为基于关系的IR技术不是真正意义上的“基于关系”,因为系统根本不能提取出“关系”本身。??系获取(capture)是极富挑战性的。事实上,我们所有的工作都是基于对关系(relationship)的以下认识: 　　1)关系分为固有关系或长久关系(intemal/permanent relationship)和临时关系(temporaryrelationship)。 　　2)IR领域的关系抽取有别于IE的关系抽取,由于二者的功能和目的不同,后者偏重于固有关系或者长久关系,在抽取出的实体的基础上,在脱离文本的情况下,通过一定的手段,如知识库或机器学习,获取实体间的关系,其中关系的类型可采用ACE测评给出的预先定义。 　　3)在LTMLS, WordNet中记录的一般为固有关系,不同于文本中出现的概念之间的直接关系(一般由动词表达),是经过专家论证过的确实存在的知识。UMLS中的关系是定义在语义类型上的关系(如:ISA);WordNet中定义的关系是相对于词性的(例如名词存在反义、上下位、部分整体、属性关系)。 　　4)在文本中多数的概念对(指在一个句子中的两个概念)间的直接关系(指与概念在同一个句子中的关系)为临时关系,这类关系还未得到专家的验证,还未固化为长久或固有关系。IR主要用于发现和检索后这一种关系,固有关系可以作为有益的补充。 　　(一)基于关系的查询与文本的表示 　　(1)查询与文本的类型 　　1.查询具有多样性: 　　1)项查询(term query):这种查询方式还在普遍使用,其特点为多个(=1)查询项(term) 组成一个查询,项之间可能会存在较强的关联。 　　2)问句查询(question query):问句查询是近年来应用的趋势,很多解释叙述型查询都可以转化为问句形式。 　　(2)查询与文本的三元组表示 　　1)概念的表示:鉴于基于关系的IR系统要在概念的基础上定义关系,所以应该支持对概念的表示格式,其中CUI (Unique Identifier of concept)是概念的唯一识别码, TUI(Unique Identifier of Semantic Type)是概念的语义类型的唯一识别码,STR(String)记录文本中出现的字符串,Attribute记录文本中概念的属性(不同于UMLS定义的Attribute), Location用来记录概念在文本语句中的偏移量,用以定位概念对(concept pair)之间的关系;是需要检索的未知(unknown)信息,未列出的概念和关系的参数取值为空。 　　2)关系的表示:其中关系是