第2讲离散信源的数学模型及其信息测度.ppt

一个二进信源X发出符号集{0,1},经过离散无记忆信道传输,信道输出用Y表示.由于信道中存在噪声,接收端除收到0和1的符号外,还有不确定符号“2” 已知: X的先验概率: p(x0)=2/3, p(x1)= 1/3, 符号转移概率： p(y0|x0)=3/4, p(y2|x0)=1/4 p(y1|x1)=1/2, p(y2|x1)=1/2， X Y 0 1 0 1 2 3/4 1/2 1/2 1/4 信源熵H(X) 例 题 得联合概率： p(x0y0) = p(x0) p(y0 |x0) = 2/3×3/4 = 1/2 p(x0y1) = p(x0) p(y1 |x0) = 0 p(x0y2) = p(x0) p(y2 |x0) = 2/3×1/4 = 1/6 p(x1y0) = p(x1) p(y0 |x1) = 0 p(x1y1) = p(x1) p(y1 |x1) = 1/3×1/2=1/6 p(x1y2) = p(x1) p(y2 |x1) = 1/3×1/2=1/6 由 例 题 噪声熵 H(Y|X) X Y 0 1 0 1 2 3/4 1/2 1/2 1/4 联合熵 H(XY) H(XY)＝H(X)＋H(Y|X)=1.8 bits 得 p(y0) =∑ p(xiy0) = p(x0y0) +p(x1y0) =1/2+0 = 1/2 p(y1) =∑ p(xiy1) = p(x0y1) +p(x1y1) = 0+1/6 =1/6 p(y2) =∑ p(xiy2) = p(x0y2) +p(x1y2) = 1/6+1/6=1/3 由 例 题 信道输出熵H(Y) 由 得 同理 p(x0 |y1)=0 ； p(x1 |y1)=1 p(x0 |y2)=1/2； p(x1 |y2)=1/2 信道疑义度 H(X|Y) 例 题 或 H(X|Y)= H(XY)-H(Y)=1.8-1.47=0.33bit 熵的基本性质 概率矢量 熵函数 非负性 非负性 H(X)≥0 由于0≤pk≤1, 所以logpk≤0，-logpk≥0， 则总有H(X)≥0。 对称性 根据加法交换律可以证明，当变量交换顺序时熵函数的值不变, 即信源的熵只与概率空间的总体结构有关，而与各概率分量对应的状态顺序无关。 对称性 确定性 当信源X的信源空间[X，P]中，任一概率分量等于1，根据完备空间特性，其它概率分量必为0，这时信源为一个确知信源，其熵为0。 确定性 这说明信源空间中增加某些概率很小的符号，虽然当发出这些符号时，提供很大的信息量，但由于其概率接近于0，在信源熵中占极小的比重， ，使信源熵保持不变。 扩展性 扩展性 可加性 证明: 可加性 极值性——最大离散熵定理 信源X中包含K个不同离散消息时，信源熵 ，当且仅当X中各个消息出现的概率全相等时，上式取等号。 表明等概信源的不确定性最大，具有最大熵，为 极值性 H(p) 1.0 0.5 0 0.5 1 p 二元离散信源 H(p) = -plogp- (1- p)log(1-p) 引理1（常用对数不等式）：lnx x-1,当且仅当x=1时等号成立。 令f(x)=lnx–(x-1) ,则 可见，f(x)是x的上凸函数，且当x=1时，f(x)有极大值。故 即 lnx≤(x-1) f(x)=lnx-(x-1) ≤0 证明： 令 ，可得 即等概时熵最大，为 。 证明： 引理2——香农辅助定理 极值性——最大离散熵定理 信源X中包含K个不同离散消息时，信源熵 ，当且仅当X中各个消息出现的概率全相等时，上式取等号。 表明等概信源的不确定性最大，具有最大熵，为