关于智能信息处理技术的研究.pdfVIP

第24卷第4期 微计算机应用 V01．24，No．4 2003年7PJ MICROCOMI，U．IERAPPI。ICATIONS July．2003 关于智能信息处理技术的研究“ 郭庆琳 樊孝忠 (华北电力大学计算机系北京102206)(：化京理：l大学计算机系北京100081) 摘要：智能信息处理是中文信息处理中的重要课题．尤雌智能搜索和信息获取为重要。而自 然语言处理和理解技术是智能信息处理的核心。本文埘|它了自然语肓理解应用于智能搜索和信 息获取的若干问题，阐述了标注、分析搜索要求雌挫完昔耩于词典的知识库的处理手段，特别 是语料库语言学在这些环节的应用情况。同时，率立对中立信息获取技术涉及的具体语言处理 技术也作了较为详尽的论述，包括词典与知帆库、词切分和词性标注、信息获取的短语句法及 语义分析和信息获取的过程。 关键词：搜索要求智能搜索信息获取标注 望愈来愈强烈。而在浩如烟海的电子信息中搜索自己需要的有用信息其困难程度可想而知。 解决这一问题需要对信息进行有效的智能整合，这就涉及到自然语言理解技术。目前全面解 决计算机的自然语言理解尚有非常大的难度，但在个别的应用系统中形成突破却具有较大的 可能性。例如，基于自然语言理解的智能搜索和信息获取系统在我们的实验中取得了较好的 效果。下面就论述基于自然语言理解的智能信息处理技术——智能搜索、信息获取。 1 自然语言理解的两种策略 自然语言理解就是研究如何能让计算机理解并生成人们日常所使用的语言，目的在于建 立起一种人与机器之间的密切而友好的关系，使之能进行高度的信息传递与认知活动。建立 一个自然语言理解系统，可以是一个纯粹的实验性模型，也可以是一个以直接应用为目的的 模型…。 迄今为止的自然语言理解模型，大都以直接应用为目标：或应用于机器翻译，或应用于 自动应答，或应用于MIS专家系统，等等。尽管这些模型所采用的语法框架、算法等都各 有特点，但在解决自然语言理解的基本策略上却是相当一致的，即都是针对某一具体的应用 领域。这种具体领域不仅规定了可用于推理的背景知阻，也规定了可能运用的语汇子集和短 语、句型子集。这样的自然浯言理解策略的优点屉：①完全不必对理解所涉及的各个层面 (词汇的、句法的、语义的、语用的、语境的)作全面的刻画；②围绕具体领域，可将各个 层面的知识作直接的综合。但其缺点是，不具有普遍性、通用性，且往往过分受限，不灵 活。 跟绝大多数自然语言理解模型不同，自动识别模型不是针对某一具体的应用领域的，而 本文于2003一ol一13收到．2003—04—28收到修改树。 *本课题为国家重点基础研究发展规划973资助项目( 万方数据 第4期 微计算机应用 是面向人工智能所期望解决的一般的自然浯言理解问题的。所谓一般的自然语言理解问题， 就是让计算机具备理解人的一般话语的能力，也就是说要在计算机上建立起一个分析或生成 一般话晤所必备的知识库来。这种策略，首先把语言理解的各种因素分解开来，逐一加以研 究。例如，在各种理解因素中先划出语言因索来。语言因素中又先划出句法因素来。这种策 略的优点是，它有可能导致最终建成一个可供一切可能的言语分析或生成所需的自然语0理 解知识库。智能搜索和信息获取就应采州过。策略，因为它们所处理的信息是广泛的、普墒 的，这要求智能搜索和信息获取必须是智能的。 2智能搜索 搜索是文献量增长到一定程度后的必然婴求，目的在于跟踪相关文献同时尽量减少间读 的负担。搜索可抽象成一个过滤器模型，在过滤器内部完成了标注和匹配两个工作。输入世 滤器的是原始文献记录，一个控制端予反应用户的搜索要求，而输出的则是从原始记录中筛 选出来的满足搜索要求的、甚至是按相关性大小排序后的检出记录。目前实际使用中的情报 搜索系统大多数是以处理文献的标识为主，如标题、作者、出版物、主题词、索引号等著求 事项。而智能搜索则可以基于语义搜索，艘索对象可为一句话甚至大规模真实文本；智能搜 索的对象是自然语言文本，下面论述在自然语言处理技术应用中产生的具体问题。