Web信息体系结构 Event Detection based on Documents.pptVIP

Event Detection based on News Documents Conglei Yao ycl@ 2005-12-16 Outline 事件探测介绍 事件探测分类体系 发展历程研究现状 相关评测 经典解决方案 总结 Outline 事件探测介绍 事件探测分类体系 发展历程研究现状 相关评测 经典解决方案 总结 事件探测介绍 事件： A event should identify something happening in a certain place at a certain time. 地点、时间、人物、关键词 First story 主题：一类事件的abstract 地震，主题 唐山地震、南亚地震，事件 Topic? Event, 1?n, n ≥1 Sometimes, Topic ≈ Event 超级女声 事件探测介绍（续） 事件探测 根据一系列的新闻文档、视频、音频，发掘出其内在的relation，并在这些relation的基础上，确定一系列的事件以及与这些事件相关的文档、视频、音频等 事件的特征 Topic Time span Locations Persons，Organizations Other event-specified important features 事件探测介绍（续） 基于新闻文档的事件探测 文档的建模 Vector space model others 事件的建模 Event = set of news documents Event = set of event-related features others 事件、文档对应关系的发掘 文档聚类 文档分类 概率的方法 事件的展示 Presentation = bag of keywords, sentences Presentation = sequence of event-related pictures others 事件探测介绍（续） 事件探测的意义 一种组织理解Web中蕴涵事件信息的有效方式 社会学研究意义 现实社会中的事件在Web上的投影 可以发现一些特殊的事件，虽然这些事件是在现实社会中有投影的，但人们却没有注意到 现实社会意义 对于Web上发生事件的总体把握（政府机构等） 对与自身相关事件的及时把握和整理（个人或组织机构） 事件探测介绍（续） 相关研究点 事件的建模 文档的建模 Event detection algorithm evaluation of algorithm valuable training and test corpus 事件的展示 事件个数的确定 。。。。。。 Outline 事件探测介绍 事件探测分类体系 发展历程研究现状 相关评测 经典解决方案 总结 事件探测分类体系 NEDRED NED New Event Detection labeling each document in an sequence stream with a New or Old Flag On-line RED Retrospective Event Detection discovery of previously unidentified events in historical news corpus Off-line 事件探测分类体系（续） Supervised Unsupervised Training set-oriented 依赖训练集，训练集昂贵 海量数据，不现实 No training set, Web News Event Detection 不依赖训练集，可拓展 适合海量数据 性能评估困难 Small News Corpus-based Large News Web page corpus-based 大部分论文，small news corpus-based Large news Web page corpus-based，难于实现 事件探测分类体系（续） topic-specified topic-unspecified Topic-specified 分类问题 确定事件边界（distribution of documents’ timestamp） topic相关document的分布特征等 Topic-unspecified 聚类问题 确定cluster个数 可利用特征较少 Outline 事件探测介绍 事件探测分类体系 发展历程研究现状 相关评测 经典解决方案 总结 发展历程研究现状 发展历程 Begin at 1998 J. Allan, R. Papka, and V. Lavrenko. On-line new event d