信息论与编第一讲.ppt

一般情况下，上式的第一项是定值，而当 时，第二项是趋于无限大的常数。所以避开第二项， 定义连续信源的熵为： 由上式可知，所定义的连续信源的熵并不是实际信源输出的绝对熵，连续信源的绝对熵应该还要加上一项无限大的常数项。这一点可以这样理解：因为连续信源的可能取值数是无限多个，若设取值是等概分布，那么信源的不确定性为无限大。当确知信源输出为某值后，所获得的信息量也将为无限大。 既然如此，那么为什么还要那样来定义连续信源的熵呢？一方面，因为这样定义可与离散信源的熵在形式上统一起来（这里用积分代替了求和）；另一方面，因为在实际问题中，常常讨论的是熵之间的差值，如平均互信息等。在讨论熵差时，只要两者离散逼近时所取的间隔△一致，无限大项常数将互相抵消掉。由此可见，连续信源的熵h(X)称为差熵，以区别于原来的绝对熵。 同理，可以定义两个连续变量X、Y的联合熵和条件熵，即 它们之间也有与离散信源一样的相互关系，并且可以得到有信息特征的互信息： 这样定义的熵虽然形式上和离散信源的熵相似，但在概念上不能把它作为信息熵来理解。连续信源的差熵值具有熵的部分含义和性质，而丧失了某些重要的特性。 5.2 最大熵定理 在离散信源中，当信源符号等概率分布时信源的熵取最大值。在连续信源中