基于模式的中文反语识别.pdf

摘 要 本文提出了一种基于模式的反语自动识别方法。本文的主要目的是检验是否 能根据有关反语的语言学理论，设计出一系列具有区别性的特征，以及当这一系 列特征用于训练模型，进行中文反语自动识别时，检验这一系列特征的有效性。 为了达到本研究的目的，首先根据相关语言学理论设计出一系列语言学特征， 其中包括基于模式的特征，情感特征，以及程度词特征。接着，从以往研究中选 出常用的统计性特征，以此和语言学特征做出对比，同时也可用于进一步强化模 型。第三步，从两个自建语料库，平衡语料库和非平衡语料库中提取出这些特征 值。然后将来自两个语料库的不同的特征值分别输入到三个支持向量机算法中， 一个输入语言学特征，一个输入统计性特征，一个输入全部特征。由此，支持向 量机可以训练出6 个不同的模型用于中文反语自动识别。最后，通过观察这6 个 模型的泛化性能可得出研究结论。 本研究的主要发现有：1）本文设计出的语言学特征可以大大提升模型的泛 化性能。2）由所有特征训练出的模型的泛化性能优于之前的其他学者的同类研 究结果。3）由语言学特征或统计性特征训练出的模型，其泛化性能均优于‘选择 大多数’的基准。结果表明以往国外研究中常用的统计性特征也能用于识别中文 反语，不过效果没有语言学特征显著。4）在平衡语料库测试出的泛化性能指标， 包括精确率，召回率和 F1 值都比非平衡语料库的要高，这与以往其他研究得出 的结论一致。 本研究得出的结论有：1）可以根据有关反语的语言学理论设计出语言学特 v 征，且该特征能有效用于训练模型，实现中文反语自动识别。2）语言学特征的 效果比统计性特征的效果要好。3）为了使模型在非平衡语料库上的泛化性能更 好，还需要进一步调整支持向量机的参数。 关键词： 基于模式的方法，语言学特征， 机器学习， 反语识别 vi CONTENTS ACKNOWLEDGEMENTS ii ABSTRACT iii 摘 要v CONTENTSvii LIST OF TABLES ix CHAPTER ONE GENERAL INTRODUCTION 1 1.1 Background 1 1.2 Motivation and Research Orientation 3 1.2.1 Research gaps3 1.2.2 Innovation and research orientation4 1.3 Research Questions 5 1.4 Organization of the remaining chapters 6 CHAPTER TWO LITERATURE REVIEW 7 2.1 Review of foreign literature 7 2.1.1 Classic theories on irony and sarcasm 7 2.1.2 Recent development on automated detection of irony and sarcasm 9 2.2 Review of domestic literature 12 2.3 Summary 14 CHAPTER THREE PROPOSED APPROACH 15 3.1 Overall Design 15 3.2 Experimental preparation 17 3.2.1 Data collection 17 3.2.2 Data pre-processing 20 3.2.3 Feature design and feature val