事件信息抽取中的数据预处理方法研究.pdfVIP

第２８卷第８期　　　 计算机应用与软件 Ｖｏｌ２８Ｎｏ．８ ２０１１年８月　　 ＣｏｍｐｕｔｅｒＡｐｐｌｉｃａｔｉｏｎｓａｎｄＳｏｆｔｗａｒｅ Ａｕｇ．２０１１ 事件信息抽取中的数据预处理方法研究 孙中友　李培峰　朱巧明 （苏州大学计算机科学与技术学院　江苏苏州２１５００６） 摘　要　　事件抽取是信息抽取领域的一个重要研究方向。针对事件抽取获得的信息不完整、语义不明确、元素表达多样性及明显 事件冗余等问题，提出基于统计的缺失数据填充算法，使丢失信息的事件完备化；同时提出基于规则和词典的事件元素规格化将不 同表述的事件统一化，通过事件真伪辨别解决了语义不明确问题，修正抽取不正确的事件，并过滤掉明显冗余信息的事件。 关键词　　事件抽取　元素规格化　不完备信息处理 中图分类号　ＴＰ３９１　　　　文献标识码　Ａ ＳＴＵＤＹＯＮＤＡＴＡＰＲＥＰＲＯＣＥＳＳＩＮＧＭＥＴＨＯＤＳＩＮＥＶＥＮＴ ＩＮＦＯＲＭＡＴＩＯＮＥＸＴＲＡＣＴＩＯＮ ＳｕｎＺｈｏｎｇｙｏｕ　ＬｉＰｅｉｆｅｎｇ　ＺｈｕＱｉａｏｍｉｎｇ （ＳｃｈｏｏｌｏｆＣｏｍｐｕｔｅｒＳｃｉｅｎｃｅａｎｄＴｅｃｈｎｏｌｏｇｙ，ＳｏｏｃｈｏｗＵｎｉｖｅｒｓｉｔｙ，Ｓｕｚｈｏｕ２１５００６，Ｊｉａｎｇｓｕ，Ｃｈｉｎａ） Ａｂｓｔｒａｃｔ　　Ｅｖｅｎｔｅｘｔｒａｃｔｉｏｎｉｓａｎｉｍｐｏｒｔａｎｔａｒｅａｉｎｉｎｆｏｒｍａｔｉｏｎｅｘｔｒａｃｔｉｏｎｒｅｓｅａｒｃｈ．Ｄｕｅｔｏｓｕｃｈｐｒｏｂｌｅｍｓａｓｉｎｃｏｍｐｌｅｔｅｉｎｆｏｒｍａｔｉｏｎ， ｕｎｃｌｅａｒｓｅｍａｎｔｅｍｅ，ｄｉｖｅｒｓｉｆｉｅｄｅｌｅｍｅｎｔａｒｙｅｘｐｒｅｓｓｉｏｎａｎｄｏｂｖｉｏｕｓｅｖｅｎｔｒｅｄｕｎｄａｎｃｙｗｉｔｈｅｖｅｎｔｅｘｔｒａｃｔｉｏｎ，ｔｈｅｔｈｅｓｉｓｐｒｏｐｏｓｅｓｂｏｔｈｍｉｓｓｉｎｇ ｄａｔａｆｉｌｌｉｎｇａｌｇｏｒｉｔｈｍｂａｓｅｄｏｎｓｔａｔｉｓｔｉｃｓｔｏｐｅｒｆｅｃｔｅｖｅｎｔｓｗｉｔｈｍｉｓｓｉｎｇｉｎｆｏｒｍａｔｉｏｎ，ａｎｄｅｖｅｎｔｅｌｅｍｅｎｔｓｔａｎｄａｒｄｉｓａｔｉｏｎｂａｓｅｄｏｎｒｕｌｅｓａｎｄ ｄｉｃｔｉｏｎａｒｉｅｓｔｏｕｎｉｆｙｅｖｅｎｔｓｗｈｉｃｈａｒｅｅｘｐｒｅｓｓｅｄｄｉｆｆｅｒｅｎｔｌｙ．Ｂｙａｕｔｈｅｎｔｉｃａｔｉｎｇｅｖｅｎｔｓｉｔｓｏｌｖｅｓｔｈｅｐｒｏｂｌｅｍｏｆｓｅｍａｎｔｉｃａｍｂｉｇｕｉｔｙ，ｆｉｘｅｓ ｉｎｃｏｒｒｅｃｔｅｖｅｎｔｅｘｔｒａｃｔｉｏｎ，ａｔｔｈｅｍｅａｎｔｉｍｅｆｉｌｔｅｒｓｏｕｔｅｖｅｎｔｓｗｉｔｈｏｂｖｉｏｕｓｒｅｄｕｎｄａｎｔｉｎｆｏｒｍａｔｉｏｎ． Ｋｅｙｗｏｒｄｓ　　Ｅｖｅｎｔｅｘｔｒａｃｔｉｏｎ　Ｅｌｅｍｅｎｔｓｔａｎｄａｒｄｉｓａｔｉｏｎ　Ｉｎｃｏｍｐｌｅｔｅｉｎｆｏｒｍａｔｉｏｎｐｒｏｃｅｓｓ 完善事件，为后续的事件融合做准备工作。 ０　引　言 １　数据预处理 认知科学家们认为，事件是人们认识和理解世界的基础，符 合人们的正常认知规律［１］。目前，事件信息抽取 ＥｖｅｎｔｓＩＥ 本文将做以下工作，包括不完备信息处理、元素规格化处理、 （ＥｖｅｎｔｓＩｎｆｏｒｍａｔｉｏｎＥｘｔｒａｃｔｉｏｎ）是信息抽取领域的研究热点之 事件真伪辨别及一些无用事件和相同事件信息的初步过滤，其中 一，在自动文摘、自动问答、信息检索等领域有着广泛的应用。 元素规格化处理是将具有相同语义的表述以统一的形式表示，同 事件抽取主要是从一个语句或句群中提取预先设定的目标 时对于缺少一些重要信息的事件，进行事件元素填充处理，以防 事件的各个语义角色的过程。近几年不少组织和个人对事件抽 止丢掉重要信息，提高事件聚类及融合的效率；辨别事件真伪是 取开展了很多研究，文献［２，３］利用机器学习方法对ＡＣＥ的事