两种Zipf定律拟合方法的对比实证研究.PDFVIP

＞＞ 第５６卷 第２４期　２０１２年１２月　　 两种Ｚｉｐｆ定律拟合方法的对比实证研究 路高飞　韩　普　沈　思 南京大学信息管理学院　南京２１００９３ 〔摘要〕采用普通最小二乘法和最大似然估计两种方法分别对Ｚｉｐｆ定律的分布进行拟合比较研究。普通最小二 乘法是目前曲线拟合中普遍采用的方法，而最大似然估计是曲线拟合更为合理的方法。分别利用三组中文和三 组英文语料，对两种方法进行对比实证研究，结果发现最大似然估计方法的拟合更合理，对Ｚｉｐｆ定律的拟合比普 通最小二乘法好，同时发现英文词汇比中文更好地符合Ｚｉｐｆ定律分布，即中文语料不严格符合经典的Ｚｉｐｆ定律分 布。本研究可以为幂律拟合的研究提供一些参考。 〔关键词〕Ｚｉｐｆ定律　普通最小二乘法　最大似然估计 〔分类号〕ＴＰ３９１ ＣｏｍｐａｒａｔｉｖｅＥｍｐｉｒｉｃａｌＳｔｕｄｙｏｎＺｉｐｆ’ｓＬａｗｗｉｔｈｔｗｏＦｉｔｔｉｎｇＭｅｔｈｏｄｓ ＬｕＧａｏｆｅｉ　ＨａｎＰｕ　ＳｈｅｎＳｉ ＳｃｈｏｏｌｏｆＩｎｆｏｒｍａｔｉｏｎＭａｎａｇｅｍｅｎｔ，ＮａｎｊｉｎｇＵｎｉｖｅｒｓｉｔｙ，Ｎａｎｊｉｎｇ２１００９３ 〔Ａｂｓｔｒａｃｔ〕ＲｅｓｐｅｃｔｉｖｅｌｙｗｉｔｈｔｈｅｍｅｔｈｏｄｓｏｆＯｒｄｉｎａｒｙＬｅａｓｔＳｑｕａｒｅａｎｄＭａｘｉｍｕｍＬｉｋｅｌｉｈｏｏｄＥｓｔｉｍａｔｉｏｎ，ｔｈｉｓｐａｐｅｒｄｏｅｓａｆｉｔｔｉｎｇ ｃｏｍｐａｒａｔｉｖｅｓｔｕｄｙｏｎｔｈｅｄｉｓｔｒｉｂｕｔｉｏｎｏｆＺｉｐｆ’ｓｌａｗ．ＯｒｄｉｎａｒｙＬｅａｓｔＳｑｕａｒｅｉｓａｐｏｐｕｌａｒｍｅｔｈｏｄｉｎｃｕｒｖｅ－ｆｉｔｔｉｎｇ，ｗｈｉｌｅｔｈｅＭａｘｉｍｕｍ Ｌｉｋｅｌｉｈｏｏｄｉｓａｍｏｒｅｒｅａｓｏｎａｂｌｅａｐｐｒｏａｃｈ．ＢａｓｅｄｏｎｔｈｅｔｈｒｅｅＣｈｉｎｅｓｅｃｏｒｐｕｓｅｓａｎｄｔｈｒｅｅＥｎｇｌｉｓｈｃｏｒｐｕｓｅｓ，ｔｈｉｓｐａｐｅｒｅｍｐｉｒｉｃａｌｌｙ ｃｏｍｐａｒｅｓｔｈｅｔｗｏｆｉｔｔｉｎｇｍｅｔｈｏｄｓ．ＴｈｅｒｅｓｕｌｔｓｓｈｏｗｔｈａｔＭａｘｉｍｕｍＬｉｋｅｌｉｈｏｏｄＥｓｔｉｍａｔｉｏｎｉｓｍｕｃｈｂｅｔｔｅｒｔｈａｎＯｒｄｉｎａｒｙＬｅａｓｔＳｑｕａｒｅａｔ ｃａｌｃｕｌａｔｉｎｇｔｈｅｓｌｏｐｅｏｆＺｉｐｓ’ｓｌａｗ；ＥｎｇｌｉｓｈｃｏｒｐｕｓｍｏｒｅａｃｃｏｒｄｅｄｗｉｔｈｔｈｅＺｉｐｆ’ｓｌａｗｄｉｓｔｒｉｂｕｔｉｏｎｔｈａｎＣｈｉｎｅｓｅｏｎｅｓ，ｗｈｉｃｈｍｅａｎｓ Ｃｈｉｎｅｓｅｃｏｒｐｕｓｄｏｅｓｎ’ｔｓｔｒｉｃｔｌｙｃｏｎｆｏｒｍｔｏｔｈｅｃｌａｓｓｉｃＺｉｐｆ’ｓｌａｗｄｉｓｔｒｉｂｕｔｉｏｎ．Ｔｈｉｓｐａｐｅｒｐｒｏｖｉｄｅｓａｒｅｆｅｒｅｎｃｅｆｏｒｔｈｅｐｏｗｅｒ－ｌａｗｆｉｔｔｉｎｇ ｒｅｓｅａｒｃｈ． 〔Ｋｅｙｗｏｒｄｓ〕Ｚｉｐｆ’ｓｌａｗ　ｏｒｄｉｎａｒｙｌｅａｓｔｓｑｕａｒｅ　ｍａｘｉｍｕｍｌｉｋｅｌｉｈｏｏｄｅｓｔｉｍａｔｉｏｎ 对语言的分布认识更为深刻，对其他学科产生了很大 １　引　言 影响，因而对该定律的深入研究具有重要意义。 　　在语言中，词汇扮演着很重要的角色。词汇是构 　　ＧｅｏｒｇｅＺｉｐｆ在 １９３２年采用统计分析的方法发现 成人类语言的基本单位，通过词汇挖掘各种语言之间 ［１］ 了不同单词分布的经验规律———Ｚｉｐｆ定律 。该定律 或不同语系之间的异同是语言学工作者的任务之 遵从省力法则，即人们在语言交流时，讲话的人和听话 ［５－６］ 一 。而通过Ｚｉｐｆ定律可以区分不同的语言，这方 的人都想省力，说话人往往想使用少量的常用词进行 面已经有了较多的研究成果。但有关Ｚｉｐｆ定律曲线的 交流，而听话人却想使用没有歧义的词理解，为此要达 拟合