自然语言处理NLP论文.doc

自然语言处理NLP论文 1．引言 做为人工智能（AI）的一个研究主题，自然语言处理（NLP）已经在一些系统中得到应用。人类使用自然语言（如汉语、英语）进行交流是一种智能活动。AI研究者们一直在尝试形式化处理自然语言所需要的过程机制，如把自然语言概念化为一种知识库系统以处理人与计算机的自然语言对话，并建立计算机软件来模型化这个处理过程。一种比较成熟和有效的方法并不使用显式的领域模型而是利用关键字或模式(Pattern)来处理自然语言。这种方法利用预先设计的结构存储有限的语言学和领域知识，输入的自然语言句子由预定义的含有指示已知对象或关系的关键字或模式的软件来扫描处理。这种方法也即做为一种自然语言接口与数据库系统或专家系统等进行连接，以检索其中的信息。通过学习国外相关应用案例，分析一个英语自然语言处理的模型系统，从而研究并实现基于WEB与汉语自然语言处理的地理信息查询系统模型。 基于英语自然语言处理的系统模型Geobase 2．1 Geobase模型简介 Geobase是针对一个地理信息系统的查询而研制的，其中用自然语言英语来查询地理信息数据库（Visual Prolog可装入的一个文本文件）。通过输入查询的英语句子，Geobase分析并转换这些英语句子为Visual Prolog能够理解的形式，然后给出查询的答案。Geobase把数据库看做是由联系而联接起来的实体联系网络。实体是存储在数据库中的数据项，联系是联接查询句子中实体的词或词组，如句子 Cities in the state California，这里的两个实体Cities和 state 是由联系in 联接的，词the在这里被忽略，而California被看做是state 实体的一个实例。 Geobase通过将用户的查询与实体联系网络进行匹配来分析查询句子。如查询句子：which rivers run through states that border the state with the capital Austin? 首先忽略某些词：which、that、the、?，其结果查询句子为：rivers run through states border state with capital Austin，其次找出实体与联系的内部名，实体可能有同义词、复数，联系也有同义词并可能由几个词组成等，经过转换后，查询句子为：river in state border state with capital Aaustin，通过查找state with capital Austin的state，Geobase再找出与这个state相邻接的所有的states，最后找出run through（由assoc(in,[run,through])转义为in）states的rivers。 2．2 数据库及实体联系网络 数据库谓词举例如下： state(Name,Abbreviation,Capitol,Area,Admit,Population,City,City,City,City) city(State,Abbreviation,Name,Population) 实体联系网络结构schema(Entity,Assoc,Entity)如下： schema(population,of,state) schema(city,in,state)} 实体对数据库查询的接口，通过谓词db和ent实现，如： db(ent,assoc,ent,string,string) ent(ent,string) 2．3 Geobase分析器 分析器用来识别查询句子的结构，Geobase把查询的句子分类为九种类型。分析使用一种“差分表”方法，分析器中第一个参数是过滤后的表、第二个参数对应实体名，最后一个参数是分析器建立的查询结构，如： pars(LIST,E,Q):-s_attr(LIST,OL,E,Q),OL=[],!. Q为查询结构 如分析句子“How large is the town new york？”， 首先过滤器给出待分析词表：[large, town, new, york]，然后调用分析器谓词pars，即依次执行如下谓词： s_attr([BIG,ENAME|S1],S2,E1,q_eaec(E1,A,E2,X)):- 第一个s_attr子句 ent_name(E2,ENAME), 由town转义为city size(E2,BIG), 匹配size(city,large) entitysize(E2,E1), 匹配entitysize(city,population) schema(E1,A,E2), 匹配schema(population,of,city) get_