信息论举例讲解信息量熵及互信息量课件.pptxVIP

信息论基础 信息量、熵和互信息量 在上一次课中我们提到香农对信息定性的 定义——事物运动状态或存在方式的不确定性 的描述。事实上，香农对信息不仅作了定性描 述，而且还进行了定量分析。 信源发出的消息常常是随机的，具有不确 定性。如果信源中某一消息的不确定性越大， 一旦发生，并为收信者收到，消除的不确定性 就越大，获得的信息也就越大。同时事件发生 的不确定性与事件发生的概率有关，概率越小， 不确定性就越大。 研究通信系统的目的就是要找到信息传输 过程的共同规律，以提高信息传输的可靠性、 有效性、保密性和认证性，以达到信息传输系 统最优化。 离散集自信息量的性质 因此，某事件x发生所提供的信息量I(x) 应该是该事件发生的先验概率p(x)的函数: I(x)=f(p(x)) 且应满足以下四点： (1)I(x)应该是事件概率p(x)的单调递减函数； (2)信息量应具有可加性：对于两个独立事件， 其信息量应等于各自信息量之和； (3)当p(x)=1时， I(x)=0：表示确定事件发生得 不到任何信息； (4)当p(x)=0时， I(x)=∞:表示不可能事件一旦 发生，信息量将无穷大。 xi 0 1 2 P(xi ) 1/3 1/6 1/2 I(xi ) log3 log6 log2 计算自信息量的例子 例1：信源消息X={0,1,2} 的概率模型如下： xi 0 1 2 P(xi) 1/3 1/6 1/2 则该信源各消息的自信息量分别为： 单位：比特 自信息量的涵义 自信息量代表两种含义： 一、事件x发生以前， I(x)表示事件x发生的不 确定性； 二、当事件x发生以后， I(x)表示事件x所提供 的信息量(在无噪情况下)。 在通信系统模型中，不仅可以用自信息量来 研究信源中的每个消息，对信宿也可同样可以。 自信息量计算的应用 例2：假设一条电线上串联了8个灯泡x1,x2, …,x8, 这8个灯泡损坏的可能性是等概率的,假设有也只 有一个灯泡损坏,用万用表去测量,获得足够的信 息量,才能获知和确定哪个灯泡xi损坏。下面就来 看我们最少需要获得多少信息量才能判断出。 信源熵 前面我们根据信源或信宿的概率模型，通过 自信息量的计算，能得到信源以及信宿中每个消 息的不确定性。然而，事实上，人们往往关注的 并不紧紧是每个消息的不确定性，而是整个系统 的不确定性的统计特性即整个信源自信息量的统 计平均值——熵。 我们先来看一个例子： 例3 有两个信源X和Y： xi 0 1 P(xi ) 0.5 0.5 在现实中，能找到很多类似的模型，我们想 知道这两个信源本质的区别在哪里？ yi 0 1 P(yi) 0.99 0.01 熵的单位是比特/符号. 我们知道， I(xi)是唯一确定xi所需要的信 息量，那么H(X)就是唯一确定X中任一事件所需 的平均信息量。它反映了X中事件xi出现的平均 不确定性。 平均自信息量——熵的定义 设X是一个集合(即信息系统如信源或信 道)，其概率模型为{xi,p(xi)}，则定义系统X 的平均自信息量——熵为： 熵的几条性质 (1)对称性：熵只和分布有关，不关心某一具 体事件对应哪个概率； (2)非负性： H(X)≥0； (3)确定性:若离散事件是确定事件,则H(X)＝0 (4)极值性——最大离散熵定理:设|X|为信 源消息的个数,则有H(X)小于等于log|X|，等 号当且仅当信源X中各消息等概率时成立，即 各消息等概率分布时( p=1/|X|),信源熵最大. 条件自信息量 前面我们引入自信息量以及熵的概念，用 以描述信源或信宿，事实上，信宿收到的消息 是与信源发出的消息密切相关。并且接受信息 与发送信息之间的关系往往是判定一个信道的 好坏的最佳标准。所以，我们需要引入互信息 量。在学习互信息量之前我们先来了解条件信 息量的概念。 设消息x发出的先验概率为p(x)，收到消 息y是由x发出的条件概率为p(x|y),则在收到y 是由x发出的条件自信息量I(x|y)定义为： (比特) 计算条件自信息量的例子 例5 在二进制对称信道BSC中，若信道转移概 率矩阵为： 计算下列条件自信息量(若p(0)=p(1)=1)： 量的定义得 由条件自信息 [解答]由已知条件可得： 单位为比特 我们知道,在通信之前,消息x具有不确定 性p(x),其大小为x的自信息量: I(x)=-log p(x) 当我们收到消息y，它是否由x发出也有一定的 不确定性p(x|y)，其大小为条件自信息量: I(x|y)=-log p(x|y) 两者之间的差就是我们通过这一次通信所 获得到的信息量的大小。 互信息量 很显然，从通信的角度来看，上述两个差 值应该相等，即： 这样，用I (x;y)或I (y;x)记该差式， 称为x与y之间的互信