信息论与编码纠错第2章.pptVIP

补充 信源冗余度及信息变差 [例] 英语26字母加 空格共27个符号。 H0=4.76 bit /符号, H1=4.03 bit /符号, H2=3.32 bit /符号, H3=3.10 bit /符号 H∞ =1.40 bit /符号， 且? = 0.29， R = 0.71， I0∞= 3.36 bit/符号 [说明] 英文中，有71%冗余度，是由语言结构决定的，该部分无需传输，可压缩。 于是：冗余度——信源可压缩程度。 [例] 将常用的10000个汉字看做10000个符号。 H0=13.288 bit /符号, H1=9.773 bit /符号, ? = 0.736， R = 0.264 [说明] 汉语信源中，每个汉字出现的概率不但不相等，而且有一些常用的词组。单字之间有依赖关系，词组之间也有依赖关系。如果将这些依赖关系考虑进去，计算相当复杂，但是实际汉语信源的熵一定也很小，冗余度相当大。 3．平均互信息量的物理意义 从通信的角度来讨论平均互信息量I(X ; Y)的物理意义： （1）由第一等式 I(X;Y)= H（X）- H（X︱Y）看I(X;Y)的物理意义： 设X为发送消息符号集，Y为接收符号集，H(X)是输入集的平均不确定性，H（X︱Y）是观察到Y后，集X还保留的不确定性，二者之差I (X；Y)就是在接收过程中得到的关于X；Y的平均互信息量。 对于无扰信道，I(X ; Y)=H(X)。 对于强噪信道，I(X ; Y)= 0。 （2）由第二等式I(X;Y)= H（Y)-H（Y︱X）看I(X;Y)的物理意义： H(Y)是观察到Y所获得的信息量(Y 的平均不确定性），H（Y︱X）是发出确定消息X后，由于干扰而使Y存在的平均不确定性， 二者之差I(X ; Y)就是一次通信所获得的信息量。 对于无扰信道，有I(X ; Y)=H(X)=H(Y)。 对于强噪信道，有H（Y︱X）= H（Y），从而I(X ; Y) = 0。 （3）由第三等式I(X;Y)= H(X)+ H(Y)- H(XY)看I(X;Y)的物理意义 通信前，随机变量X和Y可视为统计独立，其先验不确定性为H(X)+ H(Y)，通信后，整个系统的后验不确定性为H(XY)，二者之差H(X)＋H(Y)－H(XY)就是通信过程中不确定性减少的量，也就是通信过程中获得的平均互信息量I(X；Y)。 【例】已知信源消息集为X={0,1},接收符号集为Y={0,1}，通过有扰信道传输，其传输特性如图所示，这是一个二进制对称信道BSC。已知先验概率为等概率，计算平均互信息量I( X;Y)及各种熵。 【解】设p(x)为信源输入概率；p(y)为信宿输出概率； p(y/x)为信道转移概率；p(x/y)为后验概率。 （1）由图及 得 （2）由 得 （3）由 计算后验概率 （4）计算各种熵及平均互信息量： 信源熵： 信宿熵： 联合熵： 三．有关平均互信息量的两条定理 平均互信息量： 疑义度： 散布度： 平均互信息量定义为: 上式说明I(X ; Y)是信源分布概率p(x)和信道转移概率p(y︱x)的函数。 下面两条定理阐明了I(X ; Y)与p(x)和p(y︱x)之间的关系。 定理1：当信道给定，即信道转移概率p(y︱x)固定，平均互信息量I(X ; Y)是信源概率分布p(x)的∩型凸函数。 定理1说明，信道固定时，对于不同的信源分布，信道输出端获得的信息量是不同的。因此，对于每一个固定信道，一定存在一种信源（一种分布）p(x)，使输出端获得的信息量最大。 定理2：当信源给定，即信源分布概率p(x)固定，平均互信息量I(X ; Y)是信道转移概率p(y︱x)的∪型凸函数。 定理2说明，信源固定以后，用不同的信道来传输同一信源符号时，在信道输出端获得的信息量是不同的。可见，对每一种信源一定存在一种最差的信道，此信道的干扰最大，而使输出端获得的信息量最小。 定义2.2设f(x) = f (x1, x2, … , xn) 为一个n元函数，若对任意f (x1), f (x2)∈ f (x) ，任意正数θ，0 ?θ? 1，有 θf (x1) +（1-θ）f (x2) ? f [θx1 +（1-θ）