基于条件随机场与时间词库的中文时间表达式识别TheExplorationof.PDFVIP

基于条件随机场与时间词库的中文时间表达式识别 吴琼，黄德根 （大连理工大学计算机科学与技术学院，辽宁 大连 116024） 摘要：提出一种统计与规则相结合的时间表达式识别方法。首先，通过分析中文文本中时间表达式的词形、 词性和上下文信息，采用条件随机场识别时间单元而非时间表达式整体，避免了中文时间表达式边界定位 不准确的问题；之后，从训练语料中自动获取候选触发词，并依据评价函数对候选触发词打分，筛选出正 确的触发词完善触发词库；最后根据时间触发词库与时间缀词库，制定规则对时间表达式边界进行定位。 实验结果显示开式测试F1 值达到98.31% 。 关键词：CRF ；规则；时间触发词；时间缀词 中图分类号：TP391 文献标识码：A The Exploration of Temporal Information Extraction Based on CRF and Time Thesaurus WU Qiong，HUANG Degen (School of Computer Science and Technology, Dalian University of Technology, Dalian, Liaoning 116024, China) Abstract: This paper proposes a generic algorithm for time expression recognition task based on combining rules with statistics. By analyzing a set of linguistic features of time expression in text such as lexical features and context information, using Conditional Random Fields (CRF) recognize time unit rather than time expression, avoiding the boundary localization problems in Chinese time expressions; automatically obtain the candidate trigger words through the test corpus, score the candidate trigger words based on evaluation function, filter out the right trigger word to perfect trigger thesaurus; set rules for the time expression boundary localization based on time trigger thesaurus and time affix word thesaurus. Our experimental results show that the F1 value reaches 0.9831 on open test. Key words: CRF; rule; Time trigger; Time affix word 1 引言 时间表达式的识别在中文信息处理中有重要的作用和意义，时间表达式识别可为问答系 统提供基本的素材，可以用于机器翻译、事件跟踪、信息检索中相关时间的定位，还可以用 于定位事件发生的时间及回答时间相关的问题等。 1995 年，信息理解会议（Message Understanding Conference ）首次将时间表达式的识别 作为命名实体识别的一个子任务。2004 年，美国技术标准局（NIST ）举办了第一届时间表 达式识别与归一化（Time Expression Recognition and Normalization, TERN ）的评测，随后， ACE2005 （Automatic Content Extraction ）和 SemEval2