现代藏文语言单位频率及频级关系的统计分析.pdfVIP

维普资讯 第 4卷 第5期 2004年5月 科 学 技 术 与 工 程 Vo1．4 No．5 May，2004 1671—1815(2O04)05—0413一O5 ScienceTechnologyandEngineering @ 2004 Sci．Tech．Engng． 现代藏文语言单位频率和频级关系的统计分析 王 维兰 (西北民族大学中国民族信息技术研究院，兰州730030~ty_wwt@sohu．com) 摘要 Zipf定律是反映英文单词词频分布的普遍适应性的统计规律，对藏文语料做了相关语言单位频率与频级的 统计与分析。试验表明，现代藏文的字丁、音节等语言单位上，其频率和频级之间也近似服从Zipf定律，并计算了 各自的参数，对建立藏文基于统计的语言模型具有一定意义。 关键词 藏文语言单位 Zipf定律 频率 频级 中图法分类号 H087~ 文献标识码 A 藏文语言单位频率分布的统计和分析，对于藏文 规律，其中C为大于零的常数，这就是Zipf定律。而且 计量语言模型的研究无疑具有重要意义。藏文是拼音 这个规律也可以描述其它语言单位。但单词量很大 文字，前后拼写、上下叠加，音节连写时之间用点隔开， 时，Zipf定律又有推广形式：=C／i，这里的参数 口、C 将两个点之间的部分称为音节。音节中的纵向单位 0，为待定常数，i1，2，…，。 (辅音字母或上下叠加的组合体)叫字丁；一个音节至 在分布较为合理的两千万字的语料做藏文字丁、 少 1个字丁，最多4个字丁，即最多7个成分(基字、上 音节频率统计和分布分析的基础上，又进一步研究了 加字、下加字、前加字、后加字、又后加字、元音)构成，7 藏文字丁与音节层面的频率与频级的关系。 个成分中除基字外，其它成分少一个或几个仍然可以 1 字丁、音节频率及其分布 成音节。这样就形成了藏文的单字、双字、三字、四字 音节。因此，字丁是音节的基本单位，音节是语音结构 用两千万字的藏文语料，统计字丁和音节频率并 的基本单位，词汇由音节构成，词按照一定的语法结构 分析其分布特性。出现1次以上的藏文字丁512个；单 构成句子。 字音节457个；双字音节3601个；三字音节 902个；四 Zipf定律[1]是反映英文单词词频分布的普遍适应 字音节896个。 性的统计规律，是美国语言学家 Zipf首先发现的。文 1．1 字丁及其频率分布特征 献[1]对现代汉语计算语言模型中语言单位的频率和 表 1是藏文字丁的频级、频次、频率和累计频率的 一 部分内容。从该统计表可以得出： 频级关系进行了较为详细的探讨，发现现代汉语中的 (1)藏文字丁的频率分布极不均匀，在至少出现 1 字、词、二元对等语言单位上，频率和频级之间的关系 次的512个字丁中，频率极高的前9个字丁就覆盖了统 近似遵循Zipf定律，反映了不同层次的汉语语言单位 对Zipf定律的普遍适应性；文献[2]则在汉字字频分布 计样本的53．6978 ，即占总字数不到2 的字丁却覆 方面做了更为细致的研究。事实上，任何语言有其构 盖53 以上的统计样本。如序号为 1的字丁 的频率 成语言单位的集合，且不同语言或同一语言不 同层面 最高，它覆盖了统计样本的9．2999 ，序号为96的字 f 的语言单位的集合大小不同，每个语言单位实际使用 丁 的频率为0．1