[工程科技]信息论第三章.ppt

复习2： 信道容量的定义 由于平均互信息 I(X;Y) 是输入随机变量X的概率分布p(x)的∩型凸函数，所以对一固定的信道，总存在一种信源（某种概率分布p(x)），使传输每个符号平均获得的信息量最大, 即每个固定的信道，都有一个最大的信息传输率。 定义一：信道容量定义为信息传输率或平均互信息的最大值。 准对称信道是对称信道更为一般的情况，在计算信道容量时，需要将对称信道容量的计算方法作一个修正。 定义：如果信道矩阵 M 的列可以划分为若干个互不相交的子集Bk，由 Bk的列组成的新的子矩阵 M k 是对称矩阵，则 M 所对应的信道称为准对称信道。 可以证明达到准对称信道信道容量的输入分布是等概的，信道容量的计算如下（和对称信道相比作了一点修正）： 3.4 独立并联信道及其容量 P58 注意： ◆其中 Ci 是第 i 个信道的信道容量。所以并联 信道容量不大于各个信道容量之和。 ◆只有在输入符号 Xi 相互独立并且满足各个子信道的最佳信源分布的时候才能取等号。 3.5 串联信道容量及数据处理定理 P59 串联信道示意图 总的传递信道为 如果是马尔可夫链，则有： 定理3.3 离散串联信道中，平均互信息满足： 物理意义：接收到 Z 关于 XY 的平均互信息大于接收到 Z 关于 X 或者 Y 的平均互信息。 一般的串联信道中，随机变量 Z 往往只依赖于信道 II 的输入 Y，不直接与变量 X 发生关系，也就是说通过随机变量 Y 而依赖于 X，因此串联的输入输出可以组成一个马尔可夫链，并有下面的数据定理。 定理 3.4 若X，Y，Z 是一个马尔可夫链，则有： 物理意义：数据经过处理后，一般只会增加信息的损失，最多保持原来获得的信息，不可能比原来获得的信息多。也就是说，对接收到的数据 Y 进行处理后，无论 Z 和 Y 是确定的还是概率的关系，都不会减少 X 的不确定性。 对于一般的串联信道模型 信息处理定理：任何传输系统最后获得的信息最多是信源提供的信息。如果一旦某一过程中丢失一些信息，以后的系统不管如何处理，都不可能恢复已经丢失的信息。 根据信道容量的定义，串联信道的信道容量为： 3.7 信源与信道的匹配 信源符号一定要通过信道进行发送； 对某一信道，它的容量C是固定的，即 C是I(X；Y)的最大值； 但只有当输入符号的概率p(x)满足一定条件时， I(X；Y)才能达到C； 在一般情况下，因为信源输入符号的概率p(x)不满足条件， I(X；Y)C； 当达到信道容量时，我们称信源与信道达到匹配，否则认为信道有剩余。 补充： 设有两个离散BSC信道串接，两个BSC信道的转移矩阵如下，求信道容量 平均互信息： I(X;Y)=1-H(?)，I(X;Z)=1-H[2? (1-?)] 信道剩余度定义为： （1）信道剩余度 = （2）相对信道剩余度 = ★ 表示信道的信道容量和实际传信率之差。 ★ 信道剩余度可以用来衡量信道利用率的高低。 在无损信道中，信道容量 C＝logr (r是信道输入符号数)。而I(X;Y)＝H(X)，因而： 无损信道的相对剩余度 = 上式说明提高无损信道信息传输率就等于减少信源的剩余度。 对于无损信道，可以通过信源编码、减少信源的剩余度，使信息传输率达到信道容量。 因此引入问题：在一般通信系统中，如何将信源发出的消息(符号)转换成适合信道传输的符号(信号)从而达到信源与信道的匹配。 例如，某离散无记忆信源 通过一个无噪、无损二元离散信道进行传输。 ∵ 对二元离散信道的信道容量为：C＝1(比特/信道符号) 又∵本信源的信息熵为 H(X)＝1.937(比特/信源符号) ∴ H(X) C（直接传输，将丢失大量信息） 解决方案： 要使信源在此二元信道中进行传输，必须对X进行二元编码。 因此，必须通过合适的信源编码，使信道的信息传输率接近或等于信道容量。 ? ? 对于码 (比特/信道符号) 对于码 (比特/信道符号) 二个BSC信道串联后的总信道矩阵为： 作 业： 看一下第4章 4.1与4.2节 第3章 信道与信道容量(3) 《信息论与编码B》 西安邮电学院 通信与信息工程学院 2012年10月 目 录 信源与信道匹配 2.3 离散序列信道及其容量 2.4 独立并联信道及其容量 2.1 串联信道容量及数据处理定理 2.4 2.1 2.3 2.4 2.1 2.3 3.4 2.1 3.7 3.3 2.5 3.5 连续信道及其容量 3.6 信道的基本概念 3.1