Heaps定律鲁棒性在文本中统计验证与分析.docVIP

Heaps定律鲁棒性在文本中统计验证与分析 　　摘 要：Heaps定律无疑是揭示人类文献内在规律的有力武器。本文运用R语言和SPSS程序。通过对“20世纪百大英文小说”――读者票选名单中的16个文本进行统计分析以验证Heaps定律鲁棒性。 　　关键词：Heaps定律；鲁棒性；Heaps指数；新词进入率 　　1 Heap定律 　　作为复杂系统中的经验法则，Heaps定律是揭示人类文献内在规律的有力武器。设为文本总词数达到时的词汇量，Heaps定律可以用公式表示为，其中和为经验系数，即随着文本长度的增加，文本不断地生成，文本词汇量的增加率随之边际递减，[1]Heaps指数因此也常常被称为“新词进入率”。本文在英文文本背景中验证Heaps定律的鲁棒性。 　　2 Heaps定律鲁棒性在文本中的统计验证 　　2.1 动荡与多元的语言文学背景下的Heaps定律 　　所谓鲁棒性，一般认为是系统的健壮性。是系统在扰动或不确定的情况下仍能保持其特征行为。本文所提Heaps定律的鲁棒性指在动荡和多元的语言文学背景下，文本中的新词进入率，即heaps指数，是否仍能保持其特征值。Heaps定律可以用公式表示为，其中和为经验系数。介于当时，的值必然也为1，本文取以方便计算处理。 　　20世纪是人类历史上最为动荡和多元的世纪。20世纪的文学，亦相应地呈现缤纷瑰丽的异彩，印证着百年来人类精神的坎坷征程。文学诸贤已先于我们对20世纪做出了极富洞见的解读。[2]本文选取了“20世纪百大英文小说”――读者票选名单中的16个文本（按年份排列，每十年中随机抽取两个文本做统计分析），以衡量Heaps定律的鲁棒性。这16个文本均为英文文本，按照篇幅可分为短篇小说、中篇小说、长篇小说。统计文本涵盖了各种类型，按照年代依次列表（见表1）。此外，本文使用C语言、SPSS程序来对文本进行处理和统计，考察一百年间英文文本中词汇量随着文本长度的增加的变化规律。 　　可以看出，上述英文文本的heaps指数稳定在0.790.05，判定系数R2都不小于86%。由此可见，Heaps指数并没有因世界环境，特殊国情而产生很大的波动，Heaps定律及Heaps指数在描述人类所使用的词汇量―总词量关系上具有鲁棒性和普适性规律。 　　2.2 文本的排列顺序对其总体Heaps指数的影响 　　表2展示了三个英文文本《Pride and Prejudice》《Iliad》《the Old Man and the Sea》各自的总词量、词汇量及其经过SPSS程序统计分析所得的Heaps指数和判定系数R2。三个文本的Heaps指数仍稳定在0.790.05的范围内。下面我们讨论，调整三个文本的排列顺序，观察三个文本作为整体时其Heaps指数是否会发生较大波动，以衡量Heaps定律的鲁棒性。 　　由表3可见，不论《Pride and Prejudice》《Iliad》《the Old Man and the Sea》三个文本的先后顺序如何排列，若将三个文本作为一个整体来看，其希普斯指标仅从0.750变化到了0.753。因而我们可以得出结论，几个文本之间的排列顺序几乎不会影响到这几个文本作为一个总体时的Heaps指数。 　　此外，三个文本作为一个整体而言，其heaps指数略小于每一部单独文本的heaps指数。这一方面是因为随着文本长度的增加（三个文本的总词量明显大于其中任意一单独文本的总词量），文本中已出现过的词也在增加，因而其整体上的新词进入率会减低；另一方面，三个文本中有大量的词汇重复，这些重复的词汇在单独一个文本中可能是作为新词出现，但在三个文本形成的整体中，其所谓新词即不再为新词，已在前文中出现过。 　　3 结语 　　本文统计分析了20世纪16个英文小说的Heaps指数（新词进入率）数据。尽管所选取的研究范围时间跨度较大。但是从根本上，Heaps指数并没有因世界环境，特殊国情而产生很大的波动。本文还尝试研究了将几个文本作为一个整体以阐述heaps定律的鲁棒性时，内部文本间的排列顺序几乎不会影响到这几个文本作为一个总体时的新词进入率。本文的研究反映了人类文学文献的幂率特性，Heaps定律在描述人类所使用的词汇量―总词量关系上具有鲁棒性和普适性规律。 　　参考文献： 　　[1] 张翼飞. Heaps定律在中英文文本中的统计验证与分析[J].中国外资，2011（10）：272. 　　[2] 吴元迈，陶洁，王守仁，何宁. 20世纪外国文学简史[M].译林出版社，2013. 　　作者简介：王彩燕，上海大学图书情报档案系情报学专业研究生。 3