口语对话中冗余词汇识别方法研究.pdfVIP

1 口语对话中冗余词汇识别方法研究 翟飞飞，宗成庆 （中国科学院 自动化研究所 模式识别国家重点实验室，北京 100190） 摘 要： 关键词： 中图分类号：TP391 Research on Recognition of Fillers in Spoken Dialogs Feifei Zhai and Chengqing Zong (National Lab of Pattern Recognition, Institute of Automation, CAS, Beijing 100190, China) Abstract: Fillers and redundancy are most common phenomena in spoken dialogs. It always influences the results of spoken language understanding and translation system. Based on analysis and statistical classification of fillers in lexical level of spoken dialog corpus, we propose statistical methods to recognize the fillers. Experiments on translation of the spoken sentences before and after processing of the fillers have been conducted. The experimental results have shown that the performance of spoken language translation system is significantly improved if the fillers are processed before translating. Key Words: Fillers; maximum entropy classifier; SVM; CRFs 1. 引言 文献[1]对汉语口语中的冗余现象进行了定义， 即当说话人思维停顿或不连贯的时候，往往不自觉 口语是人与人之间相互交流最直接、最方便、 地在句子中添加一些词汇来保持语气和句子的连 最自然的语言使用方式。与书面语相比，由于人在 续性，这些添加的词汇就构成了冗余。冗余现象是 说话过程中思维和交流的需要，口语句子中往往存 句中的多余成份，去掉这些成份不会对句子的意思 在很多不同的语言现象，包括间断、省略、重复、 和结构产生影响。例如：口语句子：“是那个如家 修正、词序颠倒和冗余等。对于口语中的这些特殊 快捷吗？”中的“那个”一词在本句中为冗余成份。 语言现象的研究和处理，是目前口语分析所面临的 在英语口语语言现象的自动处理方面，人们对 一个难点[1]。 重复、修订等现象进行了大量的研究，冗余现象的 1