马尔克夫链与文本着作权自动判别-黑龙江大学俄罗斯语言文学.DOCVIP

2010年第3期 俄语语言文学研究 2010, №3 总第29期 Russian Language and Literature Studies Serial №29 马尔克夫链与文本著作权自动判别（一） 许汉成 （黑龙江大学俄语语言文学研究中心，哈尔滨 150080；黑龙江大学计算语言学研究所，哈尔滨 150080） 提 要：本文介绍和分析了Д. В. Хмелев采用的俄语文本著作权的定量分析方法。文本被看成是马尔克夫模型的实现。文本的著作权通过比较作者不明文本与已知作者文本集合的字母二元转移概率（一阶马尔克夫链）矩阵的距离而确定。通过著作权判别这一实例，文章展示了一个基于统计的自然语言处理系统建立的完整过程：建立统计模型，训练参数，测试模型，编码实现等。 关键词：马尔克夫链；N元语法；统计模型；自然语言处理；著作权 中图分类号：H085.2 文献标识码：A 一、前言 在文学和历史领域，著作权不明的现象不算罕见，比如围绕长篇小说《静静的顿河》的真实作者问题就出现了很多争议。产生著作权不明现象的原因很多。原稿遗失，匿名写作，冒名发表作品，剽窃，这些原因都可能造成著作权不明，甚至引起争议和司法程序。著作权是历史学、文学、语言学和法律证据学都十分关心的问题。 研究著作权的方法很多。文学家和语言学家在研究文本的著作权时一般会从文本的内容、思想、风格和语言的角度比较、分析争议的文本和可能的作者的典型文本。判定文本归属权时的主要语言性依据包括文字特点、语言风格、故事情节、特殊的词汇和语法结构，等等，但也有学者采用统计法。早在19世纪，Д. В. Морозов就在这方面进行了探索。著名数学家А. А. Марков对Д. В. Морозов的方法提出了批评，认为正确的做法是自己统计《叶甫盖尼·奥涅金》的前20000个字母里元音和辅音的分布时所展示的方法（Марков 1913: 153-162; 1916: 239 – 242）。А. А. Марков所说的正确方法就是马尔克夫链，现在它已经成为基于统计的自然语言处理系统的主要建模工具。В. П. Фоменко和Т. Г. Фоменко选择了几个简单的作者风格参数，统计了大量18—20世纪俄罗斯作家的作品，认为虚词的比例是作家风格的常体（авторский вариант）（Фоменко 1983：86-109）。近年，Д. В. Хмелев在著作权判定方面进行了新的探索，他利用马尔克夫链建立了著作权判定的数学模型，然后通过大量语料训练模型，经过测试，正确率达到了70%以上，这里主要反映了他的研究成果（Хмелев 2000：115-126；Khmelev 2001：299-307；Кукушкина等 2001）。 Д. В. Хмелев的研究是一个十分典型的计算语言学应用实例，其中涉及语言的概率模型、统计建模型、马尔克夫链、N元语法等概念，是学习基于统计的计算语言学思想和方法的良好教材。 Д. В. Хмелев的方法的主要思想是：文本是马尔克夫模型的实现，通过一阶马尔克夫链建立作者已知文本的概率转移矩阵，用同样的方法计算建立作者不明文本的概率转移矩阵；假定作者不明文本是由已知的几位作者之一创作的（不确切知道，到底是其中哪一位创作的），比较作者不明文本的转移概率分布与所有作者已知文本转移概率分布之间的距离，哪一个作者的文本转移概率分布与作者不明文本转移概率分布之间的距离最小，那么该作者是著作权不明文本作者的可能就越大（Хмелев 2000：115-126；Khmelev 2001：299-307）。 二、实验方案的数学基础 1. 马尔克夫链 马尔夫链是自然语言处理中使用最广的建模工具之一，那么什么是马尔克夫链呢？ 简单地说，假定有一个符号串s=w1, w2, …, wn，如果每个字符wi（i = 1, …, n）的出现概率只跟前面出现的j个符号有关，那么这些符号的变化过程（或状态转移过程）就叫做j阶马尔克夫过程。（陈小荷 2000）这样的符号串就是马尔克夫链的一个实现。 最简单的情况是一阶马尔克夫过程，即每一个符号都只跟前面出现的一个符号相关，则符号串s=w1, w2, …, wn的概率 P(w1, w2, …, wn) = P(w1)P(w2| w1)…P(wn| wn-1) 如果虚设w1，那么上面式子也可以表示为： 符号表示求n项连续相乘的乘积。 类似地，在二阶马尔克夫过程中，一个符号的出现概率只跟它前面出现的两个符号相关，符号串的概率为： 上面公式的实质是将整个符号串的概率转化为串里每个