基于相对熵的作品作者判定方法.pdfVIP

鬻 鬻 黧 黧 瓣 夫教赍封 基 于 相 对 熵 的 作 品 作 者 判 定 方 法 马 燕 (南京师范大学 文学院，江苏 南京 210097) 摘 要：本文提 出了一种新的、较为简便的、即基于字层面的文本风格判定方法，即使用两篇文本中的相同字做相对熵 来计算两篇文本在用字方面的差异。通过对 红《楼梦》前80回和后4O回的内部相对熵比较 。证明了其方法的可行性。又通过对 李伯元的 《官场现形记》、《活地狱》和 《文明小史》与存在作者争议的 《海上繁华梦》做文本间的相对熵比较 ，得 出了 《海上繁华 梦》确实不为李伯元所作的结论。 关键词：相对熵 作者判定 《红楼梦》 李伯元 海《上繁华梦》 1．引言 在 自然语言处理时，可以利用相对熵进行分类或者是 近年来随着语言研究的现代化，运用计算机和统计学 利用相对熵来衡量两个随机分布的差距，当两个随机分布 的知识来分析文学作品的问题 ，已经引起了社会科学和计 相同时 ，其相对熵为0，当两个随机分布的差别增加时，其相 算机科学界的普遍关注 (李国强 ，李瑞芳，2006)。西方文体学 对熵也增加。在这里我们使用相同字作为随机分布的量 ，首 界从20世纪30年代就开始关注定量分析，“人们开始利用这 先把一部文本中的相 同字的随机分布作为其真实分布，来 种方法去研究圣经书籍的著作权以及柏拉图等古典作家的 分别计算与其他文本中的相同字的分布的距离 ，其结果越 著作年代，这其实就是在对作家个人风格或时代风格等进 接近 。则我们认为这两篇文本的用字风格越相近，反之 ，结 行科学的描写分析的基础上进行 的，”这种研究经历 了从最 果越大 ，则其用字风格越有差距 ，即提 出相对熵越小 ，则两 初的由手工计算到运用具有高速的运算能力计算机辅助计 篇文本的用字风格越相近，反之 ，相对熵越大 ，则其用字风 算 ，以实现更大规模 、更加精确的定量分析。 格越有差距的假设。 而关于汉语风格的研究应始于20世纪七八十年代 ，黎 3．《红楼梦》的作者判定研究 运汉认为分析综合法 、比较法和统计法是语言风格研究中 比较早的用统计的方法来研究 《红楼梦》语言的可以算 常用 的三种方法①，国内最早正式倡导建立 “计算风格学”的 是瑞典汉学家高本汉(1954)，他取了 红《楼梦》中的24个语词 进行统计并得 出了前80回和后40回为曹雪芹一人所写的结 是钱锋和陈光磊两位学者，他们主张将计算机技术和数学 论。持同样观点的还有美国威斯康星大学的陈炳藻先生，他 方法相结合应用到风格学的研究当中。当然，语言风格研究 在1980年6月的首届国际 《红楼梦》讨论会上发表了 从《词汇 的应用之一便是对文本作者的考证 ，如曾受到广泛关注的 统计论证红楼梦的作者》一文 ，并在1986年发表了 《电脑存 《红楼梦》作者问题等 ，也有不少的学者从定量分析的角度 文学上的应用 ：(红楼梦与(儿女英雄传)两书作者用词的比 提出了自己的看法，这在下文会有详细介绍。 较》一文 ，后又 出版 了 《电脑红学：论(红楼梦)作者》的专著。 本文提出了一