在给定的主题当中发现相关的文献信.PDFVIP

(1.中国科学院国家科学图书馆, 北京 100190； 2. 晋中学院 图书馆, 山西 晋中 030600 3 哈尔滨师范大学文理学院 哈尔滨 150301) 摘要： 如何为用户提供及时有用的新颖信息是一个亟待解决的研究内容。本文试图对文本内容新颖性探测的 研究方法做一个梳理，从文本内容新颖性探测的研究起源、应用于这一研究的文本表示方法、相似性对比的 方法以及内容新颖性探测过程等方面进行分析和讨论，以期对文本内容新颖性探测的研究有一个较全面的把 握。 关键词 ： 文本；新颖性；探测；综述 XING Mei-feng (National Science Library Beijing 100190,China;JinZhong University Shanxi Jinzhong 030600,China) Abstract ： How to provide users with useful and timely information is a new research content that should be solved quickly. This paper focuses on the origin of novelty detection for text document, text representation, similarity calculation and the process of novelty detection. The major purpose of this paper is providing a survey and comprehensive understanding of novelty detection for text document. Key words: Text; novelty; detection; overview 引言 随着网络和信息技术的不断发展，在给定的主题当中发现相关的文献信息己不再是一件 困难的事。在信息极大丰富的同时也带来了信息冗余的问题，如何为用户提供及时新颖的有 用信息，是一个亟待解决的研究内容。在这种情况下，文本内容新颖性探测的各种技术也应 运而生。 对文本内容新颖性的研究是一项较新的课题，最早可以追溯到1996 年9 月，由美国国 [1] 防部发起的话题检测与跟踪 (Topic Detection and Tracking)项目 ，其中有一个子项目为首次报 道检测（First Story Detection 或New Event Detection）：在数据流中检测首次讨论某个话题的 报道。另外文本检索领域最权威的国际性评测会议TREC 从2002[2]年开始增加了文本内容新 颖性探测的测评。 1. 文本新颖性的问题描述及文本的表示方式 文本新颖性的探测指按时间顺序在给定的一些相关文档集中，比较新到来的相关文本与 己有文本之间内容的冗余度，确定新到来的文本内容是否新颖。这里研究的新颖性有两个特 征：一是所研究文本在主题上是相关的；二是当前文本与己有文本相比较，携带了以前没有 的新信息。 收稿日期 2011-02-05 邢美凤(1973-) 女，山西昔阳人, 副研究馆员,博士研究生, 主要从事智能信息系统研究 2 目前文本的表示方式主要有三种：向量空间模型，概率模型和语言模型。向量空间模型 和概率模型的表现形式类似，只是在每个词项的权重计算中，向量空间模型利用词频出现的 方式计算，概率模型在相关文档和不相关文档中出现的概率值来计算。本文对概率模型和向 量空间模型不做区分。 1.1. 基于向量空间模型和概率模型的文本表示方法： 基于向量空间模型和概率模型的文本表示方法包括以下三个要素：  文档：为n 维空间的一个向量；  特征项：向量中的每一项是文档中不可分的语言单元，可以是字、词、词组