现代汉语计算语言模型中语言单位的频度—频级关系∫.pdfVIP

中　文 　信 　息 　学 　报 第 13 卷 第 2 期 JOURNAL OF CHINESE INFORMATION PROCESSING Vol . 13 No. 2 现代汉语计算语言模型中语言 单位的频度 —频级关系 关 毅 　王晓龙 　张 凯 哈尔滨工业大学计算机系自然语言理解研究室 　15000 1 摘要 　Zipf 定律是一个反映英文单词词频分布情况的普适性统计规律 。我们通过实验 发现 ,在现代汉语的字 、词 、二元对等等语言单位上 ,其频度与频级的关系也近似地遵循 Zipf 定律 ,说明了 Zipf 定律对于汉语的不同层次的语言单位也是普遍适用的。本文通过实验证实 了 Zipf 定律所反映的汉语语言单位频度 —频级关系 ,并进而深入讨论了它对于汉语 自然语言 处理的各项技术 ,尤其是建立现代汉语基于统计的计算语言模型所具有的重要指导意义 。 关键词 　Zipf 定律 　字频 　词频 　二元对频度 一 、引言 Zipf 定律是美国哈佛大学的语言学家 George Kingsley Zipf ( 1902～1950) 发现的[ 1 ] 。他发 ( ) 现 ,在大量英文文本中对单词进行计数 ,并从最高频到最低频进行排序 w 1 , w2 , …, wn ,那么 1 [2 ] ( ) ( ) 其频度 f 1 , f2 , …, f n 近似地服从 Zipf 定律 Zipf , 1935 , 即 f n ∝ ,随后又由Mandelbrot 给 n 出了更佳的近似 f n ∝n - 1. 05 。自Zipf 定律发现以来 ,许多研究者对英语的不同结构层次从音 素级到语句级 ,进行了统计研究[3 ] ,给出了相应的 Zipf 定律 。Zipf 定律对于自然语言理解的各 个领域 ,尤其对建立自然语言统计模型具有重要的指导意义 。 假设有一数据集 ,将集合内的元素按大小顺序排列 ,使得 x1 = x2 = … = xn 按照这种顺序 , r 称为 x 的序号( ) 可以视 x 为有序集中第 r 个元素值的大小 。Zipf 定 r rank 。 r 律给出了一个元素的值与它相应的序号之间的关系 ,可以简单地描述如下 : r ·xr = 常数 ( 1) 这种序号 —大小关系图是如图 1 所示的双曲函数 。 ∞ 令 x 为集合中某元素的大小 , f ( x) 为其出现的频率 , f ( x ) d x = 1 。令 n 为数据集中元 ∫ 0 素的总的个数 ,且定义 N ( x) 为值大于 x 的元素的个数 ,那么 : 本文由国家八六三项 目资助 ,项 目编号 :863 - 306 - 03 - 02 - 1 本文于 1998 年 4 月 23 日收到