汉语信息嫡和语言模型的复杂度吴军.docVIP

汉语信息嫡和语言模型的复杂度 TheEntroPyofChineseandthe PerPlexityoftheLanguageModels 吴军王作英 (清华大学电子工程系，北京100084)“ 【提要】本文介绍了估计汉语信息摘的方法，并通过对大量语料的统计，给出了汉语信息嫡 的一个上界一5.17比特/汉字.本文还以此为基础对统计语言模型的能力进行了定量的描述，比较 了常用的统计语言模型的性能，并给出了一种用低阶语言模型通近高阶模型的方法. 关健词:嫡，复杂度，统计语言模型 Abstraet:Inthispaper，amethodofestimatinganupperboundoftheentropyofprinted Chinese15presented.Aboundof5.17bits/eharaeterfortheentropy15obtainedbyeomputingthe entropyofthesampleofChineseeorpus.Theperplexityofseverallanguagemodels，whiehisa quantitativemeasurementfortheabilityoflanguagemodels，15diseussed.Anewmethodofapprox- imatinghighsealelanguagemodelbythelowerones15alsopresented. Keywords:Entropy，Perplexity，StoehastieLanguageModel 字频出发作了粗略的估计，结果为9.6比特/汉 一、引言字[3习 近来，统计语言模型(StoehasticLanguage Model)越来越多地被用于自然语言处理.此法以信 息论为基础，把语言理解看成利用信息来消除句子 中文字不确定性过程.要了解不同模型性能的差异， 必须了解在语言中确定一个字符平均需要多少信息 量，并定量度量各语言模型消除不确定性的能力. 在一种语言中，每个字符(汉语中为汉字)到底 包含多少信息，根据shannon的信息嫡(entropy)[，〕 可定量描述.尽管要准确给出一种语言中字符平均 的摘是很难的，但可以估计出它的上界.国外对英语 作了许多研究，最初只考虑了字符的频率，得到平均 摘为4.46比特/字符，近年来，利用单词一级的语言 模型，对大规模语料库进行了统计，得到了精确得多 的结果—1.75比特/字符阁，对于汉语，过去只从 二、信息摘和语言模型的复杂度 一种语言或语言的子集可以视为一个信源.假 设其字符集V大小为L，如果这种语言中的语句可 以任意组合，且每个字符都是等概出现的，那么每个 字符需要fogL比特的信息才能相互区分，从信息论 的观点看，每个字符所含的信息量为logL.实际在 自然语言中，各个字符出现的概率不同，并有上下文 相关性，因此实际确定一个字符并不需要这么多信 息.假设每个字符的概率分布为尸，，i~1，2，…，L，先 考虑单独一个字符的情况，平均信息量为: 一艺尸，·fog尸‘ 信息论中定义为信息嫡，记为H，易证H 1994年10月收到，1996年3月定稿 wuJun，WangZhuoying(Dept.ofEleetronieEngineering，TsinghuaUniversity，Beijing100084) 电子学报1996年 logL. 再看有上下文的情况，由于自然语言中的句子 是由V中字符构成的典型序列，因此，一个长为n的 句子(c;，。:，…，‘。)所包含的信息量大: 一艺尸(。，，‘2，…，。。)·109尸(。l，。2，…，。。) t〔v 记作H(尸)，每个字符平均的信息量为:生H n (尸)，记作:H。(尸)，可以证明，H。(尸)是n的非负单 调减有下界函数[4]，因此极限存在，记为H二(尸)，它 反映出这种语言(信源)平均每个字符的信息量，称 为这个语言中每个字符的平均信息嫡或嫡率(en- tropyratio)，在不引起混淆时，简称为语言的嫡. 由于自然语言是各态遍历的.根据Shannon- MeMillan一Breiman定理，有: H~(P)=lim{一与。g尸(c，，。2，…，。.(l) 因此，只要求出P(e、，‘2，…，‘。)，就能知道语言 的嫡.而尸可计算的前提是自然语言符合马尔可夫 假设，这和实际情况相符.因此，我们假设自然语言 是一个N一1阶马尔可夫链，在此基础上建立的语 言模型称为N元文法模型(N一Gram)M，这时得到 的嫡率记为户M.我们有: 户、(:，，。2，…，。。)一fl尸(。，l(。，，。2，…，。一， flP(‘}。，_二+，，…，。_，)(2) 由于无条件大于条件嫡，所以: H二(尸)三H(户、) 因此使