智能问答系统中命名实体识别问题研究.docx

?

?

智能问答系统中命名实体识别问题研究

?

?

费建军

摘要：信息化时代的到来，人们从互联网中快速获得大量的信息。如何高效的从海量数据中获取有用的资源的需求和人工智能的兴起，促进了问答系统的发展。问答系统是构架于信息抽取之上，其影响着知识库的结构和解析问句的方式。命名实体是信息抽取领域的一个子集。所以本文主要是针对实体识别模型进行研究，本文介绍了三中主流实体识别模型的，并将股票实体作为研究对象，最终采用了CRF（ConditionalRandomField）条件随机场模型。在该模型基础上根据上下文和词性特征，提出了CC-CRF识别算法。利用CRF++训练得到能够识别代码和名称的CC-CRF实体识别模型。

关键词：股票；命名实体识别；CRF模型

：TP391.6：A：1007-9416（2017）07-0093-04

命名实体通常指的是现实中独立存在的具体的或者抽象的事物[2]。如何使计算机能够理解自然语言是智能问答系统需要解决的一个关键问题。自然语言处理的研究范围包括词法分析、信息抽取、自动文摘等[1]。信息抽取领域中，命名实体识别作为重要分支[3]，其任务是标注语句中的实体，所以命名实体的识别有着非常关键的意义。作为文本的基本单位，它包含大量的语义信息，因此对命名实体进行识别可以保证最简单快捷的获得文本信息。他存在的价值就是标注语句中的实体，实体的识别对正确解析自然语言有着极其重要的作用。识别的实体领域一般为人名、机构名、地名以及专有名词等。在实际研究中，还需要根据具体要求来确定。本文中，要识别的实体为股票名称与股票代码[4]。命名实体识别在问句处理和知识库的构建方面发挥着关键性的作用。

命名实体识别的方法主要有：基于规则和词典的方法、基于统计的方法和二者混合的方法[5]。

本文介绍了四种命名实体识别模型（基于规则和词典的方法、隐马尔科模型、最大熵模型、条件随机场模型）以及每种模型的优缺点。在经过对比并且结合股票命名实体的特点，选择条件随机场作为投资领域命名实体的模型。并在此基础上提出了引入了上下文特征和词性特征的CC-CRF识别算法。使用该模型对语料训练得到CC-CRF模型，并对模型的识别效果进行测试。

1相关工作与常规实体识别模型

1.1基于规则和词典的方法

基于规则和词典的方法的核心是规则模板构造，但是模板的构造必须由相关领域的专业人士来进行。用其来识别该领域的命名实体。这种方式是该领域刚刚起步时候的识别方式。這种方式的缺点十分明显：成本太高、需要大量的人力时间构造相关领域规则模板、可移植性差。因此此类方法不是本文的研究重点。

1.2基于统计的方法

基于统计的方法的核心是机器学习。此类方法以训练语料为输入，利用语料对模型进行训练，最终得到命名实体识别模型并输出。基于统计的方式不需要专业的语言学人才，也极大地降低了时间成本。基于统计的方法主要包括：隐马尔科夫模型、条件随机场、最大熵模型等[6]。

1.2.1隐马尔科夫模型

马尔科夫模型[7]用来描述一个随机过程，该随机过程不可被直接观察，但是可以通过另外一个可观察的随机过程间接观察。该模型有其局限性，他必须是建立在以下的条件上：严格的独立性假设，即观察值只受状态的影响，而不受其他条件的影响。并且作为一种产生式模型，它需要通过枚举出所有可能的观察序列来获得标注序列和观察序列的联合概率。这对于长距离序列来说，穷举所有的观察序列是不现实的。

1.2.2最大熵模型

为了保证概率预测的随机性和正确性，在推测一个随机事件的概率时，不要作出除了客观约束条件规定以外的任何干涉。满足上述要求的模型，熵值一定是最大的[8]。在自然语言处理中，熵就是信息的不确定程度。熵值越大，分布所受的干涉越少，预测越接近真实情况。最大熵模型不需要严格的独立性假设，上下文信息可以被充分挖掘。它避免了隐马尔科夫模型的缺陷。另外，最大熵模型只需考虑如何选择特征。但是最大熵模型的时间复杂度非常高，而且可能发生标记偏置的情况。

1.2.3条件随机场模型（CRF）

条件随机场（conditionalrandomfield，CRF）模型指的是给定输入变量的条件下得到输出变量的条件概率[9]。对应到命名实体识别中，条件随机场即为判别给定观察序列的标注序列的条件概率模型。条件随机场模型既保留了最大熵模型和隐马尔可夫模型的优点，又克服了他们存在的缺陷。CRF模型不需要独立性假设。它也避免了标记偏置问题。而且在性能上，条件随机场要优于其他两种方式。然而，较高的时间和空间消耗是制约条件随机场性能的缺点。

CRF模型一般被看做无向图模型。设G=（V，E）为一个无向图，其中的顶点集合为V，边的集合为E。X为观察序列，Y为对应的标注序列。则标注序列中的随机变量与G中的点V对应。马尔科夫特性指的是某点