智能搜索引擎关键技术及应用研究.PDFVIP

第５９卷 第５期　２０１５年３月 智能搜索引擎关键技术及应用研究 １ ２ １ １ ■ 刘耀 　郑德举 　潘希阳　黄毅 １ ２ 中国科学技术信息研究所　北京 １０００３８　 北京大学语言信息工程系　北京 １００８７１ 摘要：［目的／意义］技术创新服务平台的建设中需要智能搜索引擎技术，智能搜索引擎技术的内涵或者说 重点在于自动语义标注。技术创新服务平台上对搜索引擎的要求，与大众的搜索引擎的需求还是不同的，处理 的对象主要是专业领域的文本，通过语义标注技术，能快速对企业文档进行语义化和结构化组织，从而为企业 提供精准的知识服务。［方法／过程］针对专业领域语义标注的相关问题，在进行深入研究与探讨的基础上，将 语义标注理解为是对一组文档资源进行组织语义化的过程，提出利用结构化语义概念资源或集合对数字化文 本进行自动标引的方法，并根据概念实体出现频次、位置和关系等因素，自动抽取相关语义概念集合，实现相关 文本的语义内容的自动标注。［结果／结论］评价语义标注相关实验的效果，展示语义标注的具体应用场景。同 时，体现领域本体与语义标注语料不断更新、进化、形成互动的过程，旨在为专业领域的语义自动标注及智能搜索引擎 的构建提供有益的参考。 关键词：语义标注　自然语言处理　文本内容理解　搜索引擎 分类号：Ｇ２０３ 　　ＤＯＩ：１０．１３２６６／ｊ．ｉｓｓｎ．０２５２－３１１６．２０１５．０５．０１８ ［３－４］ １　引言 片段语义信息 。 　　为了达到对数字资源进行内容层面理解的目的， 　　技术创新服务平台的建设需要智能搜索引擎技 需要利用自然语言处理技术对文本片段语料进行深入 术，虽然现阶段在互联网领域搜索引擎众多，但都是大 加工，实施对数字资源的内容语义化，从而支持智能搜 而全，不是小而精，适用虽然广泛，但针对性不强，很难 索引擎服务。数字资源的内容语义化依赖于组织语义 提供个性化的、精准的搜索结果。技术创新服务平台 化，即实际上利用自然语言处理相关技术将数字资源 上对搜索引擎的要求，与大众的搜索引擎的需求还是 标注成语义标签的形式，达到对资源进行内容语义化 不同的，处理的对象主要是专业领域的文本，重点在于 的目的［５－７］。 解决自动语义标注的问题。面对数字资源的有效组 织，笔者提出面向知识密集型片段的文本特征获取和 ２　问题定义 面向网络的文本内容获取总体框架和技术，以有效地 　　语义标注是对一组文档资源进行组织语义化的过 从结构化的领域专业文本和网络中的非结构化文本中 程，是利用一个语义概念资源对数字资源上的文本片 提取出所需要的知识片段［１－２］。但是，虽然通过文献 段进行标引，根据概念实体出现频次、位置和关系等因 ［１－２］中所介绍的技术方法提取出的文本片段能够 素抽取一组语义概念集合用以表现该文本片段的内容 反映文本知识的领域特征（面向知识密集型文本的特 语义。语义标注的性能主要依赖于概念知识库知识是 征获取）和反映最新的描述专业领域知识的情况（面 否完备和标注算法的性能是否优良。 向网络的文本内容获取技术），对知识的描述粒度却过 　　 问题定义：依据一组语义概念资源，Ｓ＝ {Ｐ Ｑ；Ｐ 语义概念集合，Ｑ 语义概念之间的关系} 于粗糙，没有对领域文本的内容进行精细的加工处理， → ∈ ∈ ，对文本片段 Ｔ＝ Ｄ，Ｄ，Ｄ，…，Ｄ 进行语义标注， 对于知识内