从字频角度浅析红楼梦.docVIP

从字频的角度浅析《红楼梦》 　　一、语料概述 　　 　　名著《红楼梦》电子文本的基本信息列表如下（表1）: 　　 　　本论文分析所用《红楼梦》的语料是从/ylk/gudian.htm网址下载获得。该语料共120回，其中除了汉字以外还包含210个特殊符号，比如非汉字符号、图形符号、结构符、标点、阿拉伯数字、日语、拉丁字母等等。 　　下面是这些特殊符号的列表，按这些特殊符号的显示特征分两组列出：一组是可以看到的，也就是可显示的；另一组是无显示的，虽然在文本中看不到符号，但是都有各自的码位。第一组（表2）共有173个特殊符号，第二组（表3）共37个特殊符号，由于第二组符号无显示，因此我们把十六进制的编码附在了括号中。 　　 　　这些符号都是《红楼梦》的组成部分，但是本文主要是考虑可显示的文字特征，所以在做分析和统计的时候并没有考虑这些非汉字特殊符号的作用。考虑到标点符号所占比率较高，我们会在下面专门对标点符号进行一些分析和说明。 　　 　　二、对标点符号的统计 　　 　　标点符号也表示一定的语义，对小说的理解和语言的表达都有一定的作用。 　　统计数据显示，《红楼梦》中非汉字字符出现的次数是137850，其中标点符号出现的次数是137540。已知小说字符总数是868996，标点符号占了 137540/868996≈0.158，也就是说，小说中有15.8％都是标点符号。其中频次排在最高的两个标点符号是逗号和句号，同时也是小说字符中频率最高的字符，这说明了小说中重复出现次数最多的符号不是汉字而是标点符号。逗号和句号重复出现次数分别高达59357和29400。利用句号、感叹号这种句子结束符，我们可以大致推测小说的规模，但是具体到小说的内容，单单看这些数据是无能为力的。只有将小说中的字词和标点符号结合起来才能更好地理解和解析文本。下面开始研究小说中的单个字。 　　 　　三、字频统计和字关联 　　 　　考虑到非汉字符号对分析《红楼梦》没有太大的贡献，所以在对字频进行统计时并没有考虑非汉字符号。因此我们现在的数据信息是：汉字的个数（不重复）是4316，出现总数（重复）是731146。我们不可能对四千多个汉字都一一进行分析，有些汉字可能只出现过一次或者几次，所以我们选择了有代表性的，即出现频率在0.1％以上的汉字作为研究目标。在选择代表性的汉字时，我们可以以出现次数的累计总和占所有汉字的出现总数（731146）的过半作为标准；但是观察了统计数据后我们发现，一些助词的出现比率远远高于表达具体语义的动词和名词，所以我们最终选择了出现频率0.1％以上的汉字，从结果可以看出这样的选择是可取的。 　　出现频率在0.1%以上的汉字共有194个，总数为502347，占小说总数的68.7％，基本上涵盖了将近70％的字数，但是汉字的个数却只占了 194/4316≈0.0449，还不到5％。下面按频次的高低列出《红楼梦》中所有高频汉字。由于汉字很多，所以每个汉字的信息都用分号隔开，每组汉字的信息包括：字，出现次数，百分比（之间用逗号隔开）。 　　了，21193，0.028986；的，15720，0.0215；不，15025，0.02055；一，12149，0.016616；来，11429，0.01563；道，11059，0.0151；人，10542，0.0144；是，10142，0.01387；说，9692，0.013256；我，9173，0.012546；这，7810，0.010682；他，7737，0.01058；你，7142，0.009768；去，6186，0.00846；着，6166，0.00843；也，6106，0.00835；儿，6074，0.008308；玉，6051，0.008276；有，5987，0.008189；宝，5820，0.00796；个，5656，0.007736；子，5466，0.007476；又，5220，0.007139；贾，5201，0.00711；里，5143，0.00703；那，4909，0.00671；们，4893，0.00669；见，4804，0.00657；只，4677，0.006397；太，4302，0.00588；便，4078，0.005578；好，4042，0.005528；在，4002，0.00547；笑，3957，0.00541；家，3917，0.005357；上，3809，0.0052；么，3670，0.00502；得，3610，0.004937；大，3466，0.00474；姐，3443，0.004709；头，3403，0.00465；听，3301，0.004515；就，3253，0.004449，出，3225，0.00441；回，3070，0.004199；知，292