汉语信息熵和语言模型的复杂度.pdfVIP

维普资讯 第 10期 电 子 学 报 Vo】24 № 10 1998年 i0月 ACTA ELECTRONICA SINICA Oct． 1996 语信息熵和语言模型的复杂度 TheEntropyofChineseandthe Perplexity oftheLanguageModels 汉 (清华大学 电子工程系 ，北京 1．00084)~ 【提要 】 本文介绍 了估计汉语信息熵 的方法 ，并通过对大 量语料 的统计 ，给 出了汉语信息熵 的一十上界一5．17比特 ／汉字．本文还以此为基础对统计语 言模型的能力进行了定量的描述 ，比较 了常用的统计语言模型的性能，并给出了一种用低阶语言模型逼近高价模型的方法 ， 美键词：墨基壅童+苎堡童苎 偿斋f! 往 丁JV Abstraot： Inthispaper，amethodofestimati ’anupperboundoftheentropyofprinted Chineseispresented．A boundof5．1 its／characterfortheentropyisobtainedbycomputingthe entropy ofthesampleofChinese corpus．Theperplexity ofseverallanguagemodeIs，which isa fortheabilityoflanguagemodels，isdiscussed．A new methodofapprox imatinghighscalelanug agemodelbytheloweronesisalsopresented． Keywords： Entropy+Perplexity，StochasticLanguageModel 一 、 gl言 墨出发作了粗略的估计，结果为 特汉 近 来 ，统 计 语 言 模 型 (StochasticLanguage 二 、信息熵和语育模型的复杂度 Mode1)越来越多地被 用于 自然语言处理 ．此法 以信 息论为基础 ，把语言理解看成利用信息来消除甸子 一 种语言或语言 的子集可 以视为一个信掠．假 中文字不确定性过程 ．要 了解不同模型性能的差异 ， 设其字符集 v大小为 L如果这种语言中的语句可 必须 了解在语言中确定一个字符平均需要多少信息 以任意组台。且每个字符都是等概 出现 的，那么每个 量 ，并定量度量各语言模型消除不确定性 的能力 ． 字符需要 logL比特的信息才能相互区分 ，从信息论 在一种语言中，每个字符 (汉语 中为 汉字)到底 的观 点看 ，每个字符所 古的信息量为 IogL．实际在 包含多少信息 ，根据 Shannon的信息熵 (entropy)] 自然语言中，各个字符 出现 的概率不 同，并有上下文 可定量描述 ．尽管要准确给 出一种语言中字符平均 相美性 ，因此实际确定一个字符并不需要这么多信 的墒是报难 的，但可 以估计出它的上界．国外对英语