SCC--利用分类技术改进的短摘要比较方法.pdfVIP

清华大学学报(自然科学版)2005年第45卷第s1期 17／39 —ISSN10—00-0054 CN 1806—1809 11—2223／NJ Univ(SciTech)，2005，V01．45，No．S1 Tsinghua SCC一利用分类技术改进的短摘要比较方法 龚笔宏 (北京大学计算机科学技术系，北京100871) 摘要：搜索引擎返回结果的摘要的特点在于文档长度短， 的文档摘要，并根据一定的排序算法对文档进行排 大部分关键字最多只出现一次，因此传统文档比较方法所使 序。然而由于搜索引擎返回的相关文档太多，同时存 用的TF—IDF、夹角余弦等方法对摘要比较失去了作用。为在大量重复或相似文档，使得用户无法快速获得自 了改进传统文档比较方法，该文利用分类技术对短摘要信息 己真正需要的信息。于是出现了各种各样的信息检 进行扩充，以改进摘要比较。将两个摘要分别与参照物进行 索(informationretrieval)改进技术以满足用户多元 比较，在较大的一个文档集合中找到与摘要相近的文档集 化的需求。例如：对返回结果进行聚类[I]，即对搜索 合。用这些文档集合扩充短摘要的含义，以替代短摘要来衡 引擎返回的摘要进行聚类处理，以类别形式返回给 量摘要相似度。实验结果表明，使用改进后的摘要比较算法， 用户；或利用用户反馈技术，由用户对检索出的文 相关集合的DCG指标有了明显改进。 档进行相关性的判定，系统根据这些判定生成新的 关键词：信息检索；文档比较；摘要；用户反馈 查询，从而提高最终结果的准确率口]。这些技术都需 中图分类号：TP391 文献标识码：A 要处理一个问题，就是如何比较两个摘要的相似度。 文章编号：1000—0054(2005)$1—1806—04 摘要是搜索引擎在检索得到用户查询相关文档 集之后对每个相关文档提取的一个小段落，并作为 to SCC：Anapproachimprovesni‘ppets文档代表返回给用户。这样的小段落，长度不超过 comparisonbyclassification255个字节，通常由若干句子片段构成。将摘要映射 GONG Bihong 到文档向量空间上，每个词频一般不超过1。在这种 ofScienceand 情况下，传统的TF—IDF计算已经失去了意义。在向 (Department Technology，PekingUniversity， 100871，China) Beijing 量空间模型中比较2个文档的经典方法中，计算文 is a inwhichmost Abstract：A shortdocument keywords snippet 档向量夹角的公式为 occur makesconventionaldocument