在TREC2007答疑跟踪概述.docx

在TREC 2007答疑跟踪概述和庄dang1，戴安娜kelly2，吉米3国家标准与技术研究所盖瑟斯堡，MD 20899hoa.dang@nist.gov北卡罗来纳大学教堂山，数控27599dianek@email.unc.edu3马里兰学院公园，医学博士20742jimmylin@umd.edu摘要TREC 2007问答（QA）轨道包含两个任务：包括对事实、单系列的主要任务，和“其他”的问题围绕着一个固定的目标，和复杂的，互动问答（ciQA）任务。主要任务不同于往年，资料收集包括博客除了新闻文件，要求系统处理不同类型非结构化文本。的话，列表反应区分答案的评价在全球正确的（相对于文件收集），和那些只有在当地正确（关于支持文件，但不对整个文件收集）。复杂交互式问答提供了一个框架，参与调查的背景下，复杂的信息交互需要。站在代理用户，陪审员互动问答系统在网上直播；这安装程序允许参与者实验更复杂的接口，但也揭示了限制交互系统的设计评价ciQA。1引言目标的TREC问答（QA）轨道是推动系统直接回报研究回答，而不是包含答案的文件，在回答一个自然语言问题。因为它的开始在TREC-8（1999），轨道稳步扩张的类型和题目的难度问。赛道的前几个版本集中于事实型问题。一个问题是基于事实的陈述，短的回答问题，如在一个大苹果里面有多少卡路里？在TREC QA任务2003轨道包含除了陈述问题列表和定义问题（佛瑞斯，2004）。一个列表的问题询问满足信息需求的不同的应答实例，例如：咀嚼口香糖的名称。回答这样的问题需要一个系统来组装来自多个信息的响应文件。一个定义问题询问有关特定人或事物的有趣信息谁是弗拉德公爵吗？或者什么是金色降落伞？定义问题也需要系统在多个文件中查找信息，但在这种情况下，感兴趣的信息是不太爽划定。由于TREC 2004（佛瑞斯，2005a），语料和清单的问题被分为不同的系列，在每一个系列的目标和问题的系列要求的一些信息目标。此外，每个系列的最后一个问题是一个明确的“其他”的问题，这是解释为“告诉我关于这个目标的其他有趣的事情，我不知道可以直接问。这最后一个问题是，大致相当于在TREC 2003任务的定义问题。该系列的格式支持不同类型的问题的评价（事实、列表等）同时提供一个抽象的概念一个真实的用户会话与一个质量保证系统。在TREC 2004，一系列的目标可以是一个人、组织或事物。事件被添加为在TREC 2005可能的目标，要求答案必须是正确的时间相对于系列定义的时间表。在TREC 2006，要求对时间的依赖关系的敏感性在本地和全局性的正确答案之间的区别中明确的，所以问题的答案词在现在时不仅要通过配套文件支持（局部正确），但也必须是最新的文件收集的答案（在全球范围内正确）。在TREC 2007 QA跟踪的主要任务是重复问题序列格式，但有一个显着的文件集合类型的更改。而不是新闻，包含文档集合无论是新闻和博客。挖掘博客的答案在至少2年中引入了重大的新挑战方面是对现实世界的QA系统非常重要：1）能够处理语言不合格，2）处理，比新闻更非正式的和不可靠的话语结构。基于TREC 2006的成功应用（当林，2007），金块金字塔评价方法是在TREC 2007其他问题的官方评价方法。除了主要任务，TREC QA轨道2007重复复杂的，互动问答（ciQA）TREC 2006任务。2006 TREC的研讨会，与会者表示，他们希望有更长的时间，在复杂交互式问答更复杂的相互作用，而不是短时间的交流互动的形式通过缓存。与会者建议尝试“互动”为2007。在此设置下，互动问答系统是位于一个URL（统一资源定位器）对参与者的机器，和NIST的陪审员只导航到的URL。优势是，参与者能够探索更复杂的相互作用和接口。然而，这种设置放置在参与者的负担，有他们的系统访问期间整个互动期，并记录所有所需的数据，在互动。本文介绍了每个在TREC 2007 QA跟踪两任务的更多细节。第2节介绍的问题，评价方法和结果的主要任务，而第3节论述了复杂交互式问答。2主要任务在TREC QA轨道2007为主要任务的场景是，一个成年人，英语为母语的人正在寻找一个感兴趣的目标信息。目标可以是一个人、一个组织、一个事物，或者事件。用户被假定为一个“平均”美国报纸的读者。作为替代用户，NIST开发的问题和判断评审系统的响应。的主要任务所需的系统提供一系列相关的问题的答案。问题系列，它专注于一个目标，包括几个事实问题，一个或两个列表的问题，和一个其他的问题。在一系列问题的顺序和每个问题的类型（事实、列表或其他）被显式编码的测试集。实例系列如图1所示。最后的测试集包含70系列，这些系列的目标是在表1。的70个目标，19人，17人组织，15个事件，19个是事情。该系列共包含了360点问题，85个问题，70个问题