华电信息论摘要.ppt

补充 信源冗余度及信息变差 [例] 英语26字母加 空格共27个符号。 H0=4.76 bit /符号, H1=4.03 bit /符号, H2=3.32 bit /符号, H3=3.10 bit /符号 H∞ =1.40 bit /符号， 且? = 0.29， R = 0.71， I0∞= 3.36 bit/符号 [说明] 英文中，有71%冗余度，是由语言结构决定的，该部分无需传输，可压缩。 于是：冗余度——信源可压缩程度。 [例] 将常用的10000个汉字看做10000个符号。 H0=13.288 bit /符号, H1=9.773 bit /符号, ? = 0.736， R = 0.264 [说明] 汉语信源中，每个汉字出现的概率不但不相等，而且有一些常用的词组。单字之间有依赖关系，词组之间也有依赖关系。如果将这些依赖关系考虑进去，计算相当复杂，但是实际汉语信源的熵一定也很小，冗余度相当大。 （2）由第二等式I(X;Y)= H（Y)-H（Y︱X）看I(X;Y)的物理意义： H(Y)是观察到Y所获得的信息量(Y 的平均不确定性），H（Y︱X）是发出确定消息X后，由于干扰而使Y存在的平均不确定性， 二者之差I(X ; Y)就是一次通信所获得的信息量。 对于无扰信道，有I(X ; Y)=H(X)=H(Y)。 对于强噪信道，有H（Y︱X）= H（Y），从而I(X ; Y) = 0。 （3）由第三等式I(X;Y)= H(X)+ H(Y)- H(XY)看I(X;Y)的物理意义 通信前，随机变量X和Y可视为统计独立，其先验不确定性为H(X)+ H(Y)，通信后，整个系统的后验不确定性为H(XY)，二者之差H(X)＋H(Y)－H(XY)就是通信过程中不确定性减少的量，也就是通信过程中获得的平均互信息量I(X；Y)。 【例】已知信源消息集为X={0,1},接收符号集为Y={0,1}，通过有扰信道传输，其传输特性如图所示，这是一个二进制对称信道BSC。已知先验概率为等概率，计算平均互信息量I( X;Y)及各种熵。 【解】设p(x)为信源输入概率；p(y)为信宿输出概率； p(y/x)为信道转移概率；p(x/y)为后验概率。 （1）由图及 得 （2）由 得 （5）可加性 集合X = {x1，x2，…，xi，xi+1，…，xN}的概率分布为： 【例】 ① 求X的信源熵 ② 改为组合试验：组合试验中，事件x1仍独立发生，而事件x2和x3作为和事件发生，其概率为： 然后再分别以概率2/3和1/3发生事件x2和x3。作组合试验后的信源熵为： （6）条件熵小于等于无条件熵 H (X/Y) ? H (X)。X，Y 统计独立时等号成立。 （7） 联合熵大于等于独立事件的熵，小于等于两独立事件熵之和。 H (XY) ? H (X) + H (Y) 例：某二进制通信系统，信源符号集{0，1}，由于存在失真，传输时会产生误码，用符号表示下列条件： u0：发“0”；u1：发“1”；v0：收“0”；v1：收“1”。 已知下列概率： 则此信道转移概率示意图为： 求：（1）已知发出符号“0”，收到一个符号所获得的平均信息量 （2）已知发出的符号，收到一个符号所获得的平均信息量 转移概率矩阵p(v/u) 联合概率矩阵 p(uv) （3）已知发出和收到符号，所获得的平均信息量 或可由定义式求： 联合概率矩阵 p(uv) （4）收到一个符号后又被告知发出的符号，所获得的平均信息量 联合概率矩阵 p(uv) 先求接收符号的概率： 后验概率矩阵 p(u/v)= p(uv)/ p(v) 或者： §2.4 N维扩展信源的熵和平均互信息量 一．各种离散信源的熵 信源输出序列为XN= x1… xi … xN ，xi∈{a0,a1,…,ak-1}，记 XN= x1 x 2 … xN的概率分布为p (XN)，则信源熵为 （1）单符号无记忆信源 由于无记忆，则信源的熵为： （2）N维扩展无记忆信源 H (XN) = H ( X1) +H (X2︱X1) +H (X3︱X1X2)+ … +H (XN︱X1X2…XN -1) 记为： （熵的链规则） p (XN) = p (x1) p (x2︱x1) p(x3︱x1x2) … p(xN︱x1x2…xN -1)，可以计算出其信源熵