第二章基本信息论3二元联合信源共熵条件熵.pptVIP

2.3 二元联合信源的联合熵(共熵)与条件熵 一、共熵 两个信源X、Y，信源X的概率空间为： 二元联合信源的概率空间为： 二、条件熵 由共熵可导出条件熵 无条件熵（信源消息间无相关性时）： 平均符号熵： 三、离散平稳信源的信源熵和极限熵 原始信源：一次发一个消息符号 N次扩展信源：一次发一个消息序列/信号序列 （N个消息符号） 有记忆信源：原始信源消息间有相关性 无记忆信源：原始信源消息间无相关性 平稳信源：信源的概率空间不随时间变化 非平稳信源：信源的概率空间随时间变化 无记忆N次扩展信源的信源熵 [例]离散平稳无记忆信源的概率空间： 有记忆N次扩展信源的信源熵 * * 信源Y的概率空间为： 从二元联合信源概率空间的联合概率p(xiyj)可以提取任一信源的熵 X给定的情况下Y的条件熵 Y给定的情况下X的条件熵 5/6 1/6 1/2 1/2 y1=1 p(y1)=7/12 y2=0 p(y2)=5/12 p(x1)=1/4 x1=1 p(x2)=3/4 x2=0 X空间 Y空间 [例] 某二元通信系统，它发送1和0的概率分别为：p(1)=1/4，p(0)=3/4，由于信道中有干扰，通信不能无差错地进行。即有1/6的1在接收端错成0，1/2的0在接收端错成1。问信宿收到一个消息后，获得的平均信息量是多少？ 当且仅当X、Y互相独立时取等号 多元信源的共熵小于等于各单独信源熵之和， 当且仅当各单独信源统计独立时取等号。 同一信源发出前后两消息xi、xj，两消息的共熵小于等于两消息分别独立熵之和， 当且仅当前后两消息相互独立时取等号。 [例]有一离散信源具有三个消息A、B、C， p(A)=11/36，p(B)=4/9，p(C)=1/4，发出的消息序列前后符号具有相关性，其中相关性可用下表中的条件概率来描述，求该离散信源的熵。 7/9 1/8 0 C 2/9 3/4 2/11 B 0 1/8 9/11 A i C B A j p(i / j) 无条件熵？ 条件熵？ 平均符号熵？ 条件熵： 7/36 1/18 0 C 1/18 1/3 1/18 B 0 1/18 1/4 A i C B A j p(ij) 7/9 1/8 0 C 2/9 3/4 2/11 B 0 1/8 9/11 A i C B A j p(i / j) 其平均信息熵 求该离散信源的熵、二次扩展信源的熵和N次扩展信源的熵。 解：1）离散信源的熵 2）二次扩展信源的熵 3）N次扩展信源的熵 二维离散平稳有记忆信源： 扩展到N维： 平均信息熵： 极限熵：