基于多元判别分析汉语句群自动划分方法.docVIP

基于多元判别分析汉语句群自动划分方法 　　摘要：针对目前句群划分工作缺乏计算语言学数据支持、忽略篇章衔接词的问题以及当前篇章分析较少研究句群语法单位的现象，提出一种汉语句群自动划分方法。该方法以汉语句群理论为指导，构建汉语句群划分标注评测语料，并且基于多元判别分析（MDA）方法设计了一组评价函数J，从而实现汉语句群的自动划分。实验结果表明，引入切分片段长度因素和篇章衔接词因素可以改善句群划分性能，并且利用SkipGram Model比传统的向量空间模型（VSM）有更好的效果，其正确分割率Pμ达到85.37%、错误分割率WindowDiff降到24.08%。同时该方法在句群划分任务上有更大的优势，比传统MDA方法有更好的句群划分效果。 　　关键词：汉语句群划分；多元判别分析；篇章分析；SkipGram模型；篇章衔接 　　中图分类号： TP391 文献标志码：A 　　Abstract：In order to solve the problems in Chinese sentence grouping domain， including the lack of computational linguistics data and the joint makers in a discourse， this paper proposed an automatic Chinese sentence grouping method based on Multiple Discriminant Analysis （MDA）. Moreover， sentences group was rarely considered as a grammar unit. An annotated evaluation corpus for Chinese sentence group was constructed based on Chinese sentence group theory. And then， a group of evaluation functions J was designed based on the MDA method to realize automatic Chinese sentence grouping. The experimental results show that the length of a segmented unit and one discourse’s joint makers contribute to the performance of Chinese sentence group. And the SkipGram model has a better effect than the traditional Vector Space Model （VSM）. The evaluation parameter Pμ reaches to 85.37% and WindowDiff reduces to 24.08% respectively. The proposed method has better grouping performance than that of the original MDA method. 　　Key words： Chinese sentences grouping； Multiple Discriminant Analysis （MDA）；discourse analysis； SkipGram model； discourse coherence 　　0 引言 　　汉语句群自动划分，就是把段落中在结构和语义上有密切联系的一组句子划分出来。汉语句群划分是句群理论的重要研究方向，在篇章分析、机器翻译等方面有重要的作用。 　　1）对篇章分析来说，句群是句子和篇章的过渡阶层，对句群的处理是计算机从理解孤立的词义和句义上升到理解语篇整体中心内容的一个重要跃变步骤，实现这一步骤的前提是篇章的句群划分。 　　2）在机器翻译领域，著名的自然语言处理专家董振东提出：翻译应该在句群层面上进行。但是目前的理论和技术基础还无法做到这一点。多年来相关研究主要侧重在单句的翻译上，忽略了研究句子和句子之间的联系，缺乏句群层次上的词汇消歧、冠词、代词、时态、省略等处理技术，要想进一步提高机器翻译的质量，必须解决句群自动划分问题。 　　在计算机领域，汉语句群划分工作较为少见，更多的是基于概念层次网络（Hierarchical Network of Concepts，HNC）语境观的篇章分析工作，其更接近规则的方式，缺乏足够的计算语言学数据支持，并不是明确的可计算