信息论与编码第二章信源与信息熵.ppt

* 概率越大，不确定性就越小；反之符号出现的概率越小，不确定性就越大，一旦出现，接收者获得的信息量就越大。由此可见，符号出现的概率与信息量是单调递减的关系。 * * 单调递减：monotonic decreasing 单调递增：monotonic increasing * * 若两个符号的出现不是独立的，而是有相互联系的，则可以用条件概率来表示，相应的自信息量称为条件自信息量。 * 熵：entropy * * * 如果二元信源的输出符号是确定的,即p=1或q=1,则该信源不提供任何信息。当二元信源符号0和1以等概率发生时,信源熵达到极大值,等于1比特信息量。 * * * “e “ for erasure * 对于上述的一些推导： b.若干扰很大，Y 基本上与 X 无关，或说 X 与 Y 相互独立，则有p(xi | yj)=p(xi)，带入I(X;Y)的计算公式得I(X;Y)=0 c.若没有干扰，Y 是X 的确知一一对应函数，即表示xi发生时yj一定发生，或yj发生时xi一定发生，则有p(xi | yj)=1， p(xi , yj)=p(xi)，带入I(X;Y)的计算公式得I(X;Y)=H(X). * * * 连续信源熵与离散信源熵具有相同的形式，但其意义不同。 连续信源的不确定度应为无穷大，这是因为连续信源可以假设是一个不可数无限多个幅度值的信源，需要用无限多个二进制位数（比特数）来表示，因而它的熵为无穷大。 上述对连续信源熵的定义是因为在实际问题中，常遇到的是熵之间的差，如互信息量，就会将第二项无穷大量抵消。 连续信源：continuous source * * * * 若当N维随机变量取值受限时，也只有各随机分量统计独立并均匀分布时具有最大值。 * 由此看出，如果噪声是正态分布，则噪声熵最大，因此高斯白噪声获得最大噪声熵。 也就是说，高斯白噪声是最有害的干扰，在一定平均功率条件下造成最大数量的有害信息。 在通信系统中，往往各种设计都将高斯白噪声作为标准，这不完全是为了简化分析，也是根据最坏的条件进行的设计以获得可靠的系统（the worst case design）。 * 由 同理 符号 / 33 . 0 ) | ( lb ) , ( ) | ( bit y x p y x p Y X H j i ij j i = - = ? 例2-9二进制通信系统用符号“0”和“1”,由于存在失真,传输时会产生误码,用符号表示下列事件： u0：一个“0”发出：u1：一个“1”发出 v0：一个“0”收到；v1：一个“1”收到。 给定下列概率： p(u0)＝1/2, p(v0 |u0)＝3/4，p(v0 |u1)=1/2 求： ⑴已知发出一个“0”,求收到符号后得到的信息量； ⑵已知发出的符号,求收到符号后得到的信息量； ⑶知道发出的和收到的符号,求能得到的信息量； ⑷已知收到的符号，求被告知发出的符号得到的信息量。 2.2.5 熵的性质 （1）非负性： （2）对称性 ： （3）确定性 ： （4）香农辅助定理（极值性）： 对于任意两个n维概率矢量 如下不等式成立: （5）最大熵定理 ： 2.2.5 熵的性质 （6）条件熵小于无条件熵： 条件熵不大于信源熵 两个条件下的条件熵不大于一个条件下的条件熵 联合熵小于信源熵之和 2.2.3 互信息 有扰离散信道 在通信的一般情况下，接收端所获取的信息量，在数量上等于通信前后不确定性的消除(减少)量。 用I(xi ; yj)表示收到yj后，从yj中获取关于xi的信息量 。 I(xi ; yj) =收到yj前，接收端对xi存在的不确定性(先验不确定度)－ 　　　　收到yj后，接收端对xi仍然存在的不确定性(后验不确定度) 定义互信息 互信息的性质： 2.2.3 互信息 ?对称性: ?当xi和yj相互独立时，互信息为0 ?互信息量可为正值或负值 2.2.3 互信息 定义为平均互信息 定义为平均条件互信息 2.2.3 互信息 关于平均互信息　　　的说明： a.在通信系统中，若发端的符号是X，而收端的符号是Y，互信息　　　　就是在接收端收到Y后，所能获得的关于X的信息。 b.若干扰很大，Y 基本上与 X 无关，或说 X 与 Y 相互独立，那时就收不到任何关于 X 的信息. c.若没有干扰，Y 是X 的确知一一对应函数，那就能完全收到X 的信息H（X）。 2.2.3 互信息 平均互信息和联合熵之间的关系 该式表明： 平均互信息等于唯一地确定信源符号X 所需要的信息量H(X)，减去收到符号Y 后确定X 所需要的平均信息量