第8讲自然语言的熵.pptVIP

* 第8讲 信源冗余度与自然语言的熵 背景知识: 实际的信源可能是非平稳的，其极限熵 不一定存在。 可以假定它是平稳的，用平稳信源的 来代替。 对于一般平稳的离散信源，求 值也是极其困难的。 进一步假设它是m阶马尔可夫信源，用m阶马尔可夫信源的信息熵 来近似。 最简单的马尔可夫信源是记忆长度为m=1的信源，信源的熵： 对于一般的离散信源都可以近似地用不同记忆长度的马尔可夫信源来逼近。进一步简化，可以建设信源为无记忆信源，信源符号有一定的概率分布。最后可以假定是等概率分布的离散无记忆信源。 Evaluation only. Created with Aspose.Slides for .NET 3.5 Client Profile 5.2.0.0. Copyright 2004-2011 Aspose Pty Ltd. Evaluation only. Created with Aspose.Slides for .NET 3.5 Client Profile 5.2.0.0. Copyright 2004-2011 Aspose Pty Ltd. 由此看出，由于信源输出符号间的依赖关系也就是信源信号的相关性使信源的实际熵减小。信源输出符号间统计约束关系越长，信源的实际熵越小。当