信息论基础 课件 第3章 离散信道.ppt

对称信道的容量 行：同一集合 列：同一集合 信道转移矩阵的所有行向量都是第一行的某种置换；所有列向量都是第一列的某种置换。 * * 例： 对于二元对称信道 * (比特/信道符号) 计算信道 的信道容量。 强对称信道的容量 输入 r 与输出 s 相等： 传递概率： r=s * * * H(XY) 左边的圆代表随机变量X的熵，右边的圆代表随机变量Y的熵，两个圆重叠部分是平均互信息I(X;Y)。每个圆减去I(X;Y)后剩余的部分代表两个疑义度。 H(X) I[X;Y] H(Y) ★H(X|Y)是信道疑义度，表示符号通过有噪信道后所引起的信息量的损失，故也称为损失熵。 ★H(Y|X)是由信道噪声引起的，和信道统计特性p(y|x)相关的熵,称为噪声熵。 H(X|Y)=H(X)-I(X;Y) H(Y|X)=H(Y)-I(X;Y) * 各种熵之间的关系 名称 符号 关 系 图 示 无 条 件 熵 条 件 熵 条 件 熵 联 合 熵 交 互 熵 * 两种极端情况 无噪一一对应信道： H(X/Y)＝0 H(Y/X)＝0 I(X;Y)＝ H(X)＝H(Y) 信道输入端与输出端统计独立： H(X/Y)＝H(X) H(Y/X)＝H(Y) I(X;Y)＝0 * 解：(1)根据p(aibj)＝p(ai)p(bj／ai)，得到各个联 合概率： 例：已知信源[X,P]: , 信道P(Y/X),并且p(b1/a1)=0.98, p(b2/a1)=0.02, p(b1/a2)=0.20, p(b2/a2)=0.80,求在该信道上传输的平均交互信息量I(X;Y)和疑义度H(X/Y)、噪声熵H(Y/X)、联合熵H(XY)。 p(a1b1)＝p(a1)p(b1/a1)=0.5×0.98＝0.49 p(a1b2)＝p(a1)p(b2/a1)=0.5×0.02＝0.01 p(a2b1)＝p(a2)p(b1/a2)=0.5×0.20＝0.10 p(a2b2)＝p(a2)p(b2/a2)=0.5×0.80＝0.40 * (2)根据p(bj)＝∑ p(ai)p(bj／ai)，得到Y集中各 符号概率： p(b1)＝ = p(a1b1)+ p(a2b1)=0.49+0.10=0.59 p(b2)＝ = p(a1b2)+ p(a2b2)=0.01+0.40=0.41 * (3) 根据p(ai/bj)=p(aibj)/p(bj)，得各后验概率： p(a1/b1)= p(a1b1)/ p(b1)=0.49/0.59=0.831 p(a2/b1)= p(a2b1)/ p(b1)=0.10/0.59=0.169 p(a1/b2)= p(a1b2)/ p(b2)=0.01/0.41=0.024 p(a2/b2)= p(a2b2)/ p(b2)=0.40/0.41=0.976 * (4) H(X)= =-(0.5log0.5+0.5log0.5) =1比特/符号 H(Y)= =-(0.59log0.59+0.41log0.41) =0.98比特/符号 H(XY)= =-(0.49log0.49+0.01log0.01＋0.10log0.10+0.40log0.40)=1.43比特/2个符号 * （6）疑义度： （7）噪声熵： （5）I(X;Y)= H(X)＋H(Y)－H(XY) =1＋0.98－1.43＝0.55比特/符号 * 3.平均条件互信息 定义在已知事件 的条件下，接收到y后获得关于某事件x条件互信息 与互信息的区别仅在于先验概率和后验概率都是在某一特定条件下的取值。 * 对于三个离散随机变量X,Y,Z中，在已知Z的条件下，X和Y之间的平均条件互信息为： I(X;Y/Z)= ＝H(X/Z)－H(X/YZ) = ＝H(Y/Z)－H(Y/XZ) = ＝H