基于最大似然估计方法齐普夫定律验证_韩普.pdfVIP

 理论与探索  ITA 欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟欟 ， ， ( ， 210093) ● 韩 普 路高飞 王东波 南京大学 信息管理学院 江苏 南京 基于最大似然估计方法的齐普夫定律验证* : 。 ， KS 摘 要 文章采用最大似然估计的方法对齐普夫分布曲线进行拟合 该方法对齐普夫定律的词谱分布 利用 检 。 ， 。 验的方法得到在双对数坐标下拟合度最优的直线 与传统的最小二乘法相比 该方法拟合结果更为准确 为了验证该方 ， 3 ， ， 。 法的有效性 通过 组中英文语料实验发现 英文较好地符合齐普夫定律 中文并不太符合 : ; ; 关键词 齐普夫定律 最大似然估计 词谱分布 Abstract :This paper proposes a method of how to calculate the slope of Zipf ’s law based on maximum likelihood estima- tion. In this method ，the frequency spectrum forms of Zipf ’s law is adopted for mathematic reasons and the Kolmogorov-Smirnov (KS)method is used to obtain a goodness-of-fit line in dual-logarithm coordinate. Compared with the traditional least square meth- od ，the maximum likelihood estimation method is more accurate in fitting results. To validate the method ，the paper conducts an ex- periment with three Chinese and English corpuses. The experiment shows that the English words conform with the Zipf ’s law better ， while the Chinese words do not conform with the Zipf ’s law. Keywords :Zipf ’s law ;maximum likelihood estimation ;word frequency distribution 、 、 选择 词典编撰 机器翻译和关键词抽取等均建立在该定 1 问题的提出 。 律基础之上 齐普夫定律最早是语言学领域的一个经验规 ［4］ ， ， ， 、 语言和文字是人类文明的起源 也是人类文明出现的 律 目前不仅局限于语言学领域 在互