量子物理与信息技术一教程教案.pptVIP

第2章 信息的度量 第三讲 石志国 北京科技大学电子信息系 /info/02.ppt 信源的概率空间描述 一个信源可以用一个概率空间来描述，信源的不确定程度可以用概率空间的可能状态数目及其概率来描述： 其中： 1. X是信源的状态空间，为一个离散集，表示了随机事件的状态数； 2. P(X)是随机事件各种可能状态的概率分布，且： 3. 各状态相互独立 通常记为{X, P(X)} 信源的不确定度的几个结论 关于信源不确定度的几个结论： 1. 信源的不确定程度与信源概率空间的状态数及其概率分布有关。 2. 如果信源概率空间的状态数确定，概率分布为等概时，不确定程度最大。 3. 等概时，不确定程度与信源概率空间的可能状态数有关，状态数越多，不确定性越大。 信源的不确定程度可以用信源概率空间的概率分布来描述。通常记为： H(X)=H(p1, p2, ... pN) 对于上面的例子，有： H3(1/4, 1/4, 1/4, 1/4) H2(1/2, 1/2) H1(0.90, 0.10) 平均自信息的定义 信息熵和热熵有相似之处 例1：从布袋摸球 使用信息熵定义计算三种情况下信源的平均不确定性： 熵函数的数学特征： 随机变量集X的熵H(X)是其概率分布p1,p2,...pq的函数，称为熵函数。所以H(X)可以写成： 根据此式，由于概率的完备性，