一个多文档调查综述.docVIP

一个多文档调查综述 多文档自动摘要仍然很难实现。在这种情况下，我们相信，观察人们如何做相同的工作并主动寻找不同的策略这很重要。 我们准备了100套类似的用于DUC的多文档摘要的任务中的文件集。对于每个文件集，一些人准备的下面的数据，我们进行了一项调查。 A自由形式的摘要 B句子提炼型摘要 C主题提炼型摘要 D表格式摘要 我们要仔细的描述后两项，因为他们为多文档摘要研究指明方向。 介绍 自动多文档摘要仍然很难实现。就像报纸文章的单一文章摘要，在那里我们没有比以规程为基础的简单算法更好的自动摘要算法，自动多文档摘要面临着巨大的挑战。在这种情况下，我们认为，重要的是要观察人们是如何做的同样的工作，寻找可能不同的策略。 假设给你几个关于同一个主题的文件，并要求对他们进行总结，你要做什么。作者试图通过自己的这一点。首先，我们用一个标记，以标记重要短语或句子。然后我们试图连接它们，通过在标记的句子中找出的主要或常见的主题，或者，通过一列表或一个表来找出该文件的观点。当我们看着这个阶段的结果注意到，这些都是非常好的总结，即使他们不是传统意义上的总结（1系列要读取的句子）。主题使我们容易理解整个文件集的总体问题，表格是整个文件集问题的摘要。如果我们能够从文件集中自动创建这些数据，我们也许能做一个好的摘要。这里所产生的问题是我们在一般情况下能做出什么样的“主题”， 文件集的哪些比例适合表式总结。 在我们手里的摘要实验中创建的主题，像关键字清单，但我们发现有更普遍的形式是如“这些文件类型正在谈论一个人”。由于提取关键字一直是总结的技术之一，我们在下面的实验将集中在主题的形式上。 我们将介绍在手工创建表式总结的实验中对我们的类型和报表的定义，以及自由的风格的摘要和句子提炼型摘要的分析。我们准备了100套类似的用于DUC的多文档摘要的任务中的文件集（DUC网页）。对于每个文件集，注释者准备了下面的数据。 A自由形式的摘要 B句子提炼型摘要 C 主题提炼型摘要 D表格式摘要 我们要仔细的描述后两项，因为他们为多文档摘要研究指明方向。 文档集 首先，我们描述如何累积100个多文档数据。我们发现DUC的多文档数据主题是有失偏颇的，因为它是为了评估等目的而预先过滤。DUC所描述的是经过仔细的选择的文档集。为了评估目的而事先过滤是有用的，但它确实不一定反映用户的需求或主题分布的消息。我们更愿获得较为平衡的文件集。我们采用如下的程序，整个实验的资料用的是日本报纸全集。 从语料库随机选择一篇文章（种子） 从每一篇文章选择关键词，关键词是频率超过1次的所有名词，除了某些特殊类型的名词 使用骰子系数检索类似于种子文章的文章。收集系数超过0.5的所有文档。 选择超过3篇文章的文档集，获得了大约300个文章集之后，在其中我们选择有较多文档而且主题不重复的100个。 文档集中的文章平均数目为4.7，句子的平均数目是12.9。注释者阅读每一个文档集中的文章并检测是否有不同于文档集主题的文章。这类数目很少的文章在下面实验中予以排除。 任务与注释者 我们有四项任务和三个注释者（由数字来表示）。注释者1和2做同样的任务，但注释者3却只做它的一部分。他们全部大学毕业，尤其注释者1和2的母语是日语，专业是美国大学语言学专业。 一些例子（一份文件集的免费摘要以及三个文档集的轴和表格数据全部转换成英文）载于附录。 Table 1. Task and annotator Task Annotator 1 2 3 Free style summary 100 40 Sent. Extraction 100 20 100 Axis 100 100 100 Table summary 100 100 自动形成摘要 第一项任务是一个自由风格的概括。基于向量度量的注释者协议通过TSC评估(TSC网页)计算。这是摘要中的一个余弦度量。大部分数据（40组中的37组）的值在05.或者大于0.5，这要大于对自动系统对人们在TSC-1所作的摘要的测量（范围约是10%总结的0.4％，40%摘要的0.5）。我们有理由相信摘要是非常可靠的。 提炼句子 现在我们看看以提取句子的方式得到的摘要。 注释者 1和3对整个数据进行整项工作，因此我们将比较这些结果。我们要求注释者提取约20％的句子作为每个文档集的摘要，但两者提取的句子的实际数量略有不同。表2显示了两个注释者选取句子和协议数据的数目。两个注释者都选取的句子（533）与一个注释者选取句子的数目看起来很低（650和746）。然而，卡方鉴定是513.9，这意味着这两个结果有着很强的相关性（小于0.0001％的可能性）。 Table 2. Number of selected sentences annotator 3 Annotator 1 Tota