.3-2_第3章3.3_多符号离散信道.pptVIP

* 例（续）平均互信息 * n个二元对称信道串联 如果在两个二元对称信道串联之后再增加一个级联环节，可得 依次类推，n个二元对称信道经串联后，其平均互信息量如下图所示。 * n个二元对称信道串联 * 例 一串联信道如下图所示，求总的信道矩阵。设X、Y、Z满足马氏链的性质。 1/3 1/3 1/3 1/2 1/2 2/3 2/3 1/3 1/3 信道I 信道II * 例 （续）总的信道矩阵 * 例 （续）等效信道 则该级联信道可等效为如下的信道 1/3 1/2 1/6 1/3 1/3 1/3 * 小结 实际研究信道时，往往将其分解为几个简单的信道的组合； 介绍了串联信道（级联信道），并给出了两个重要的定理； 重点分析了数据处理定理； 分析了n个二元对称信道的串联； 给出了信道串联的实例。 * 信源和信道匹配 信源发出的消息符号一般要通过信道来传输。 对于某一信道其信道容量是一定的。 只有当输入符号的概率分布P(x)满足一定条件时才能达到信道容量C。 或说只有一定的信源才能使某一信道的信息传输率达到最大。 一般情况下信源与信道连接时，其信息传输率R=I(X;Y)并未达到最大。这时，信道的信息传输率还有提高的可能。 当信源与信道连接时，若信息传输率达到了信道容量，我们则称此信源与信道达到匹配。否则认为信道有剩余。 * 信道剩余度与相对剩余度 * 使信息传输率达到信道容量 信源编码就是将信源输出的消息变换成新信源的消息来传输，而使新信源的概率分布接近最佳概率分布，这样，新信源的消息通过信道的消息传输率接近最大值，信道剩余度接近于零，信道得到充分利用。这就是香农无失真信源编码理论，它使信源和信道达到匹配，传输的信息量达到最大，提高了信息传输的有效性。 * HUST Furong WANG--- Information and Coding Theory * 第3章　信道容量 3.1　信道的数学模型和分类 3.2　单符号离散信道的信道容量 3.3　多符号离散信道 3.3.1 多符号离散信道的数学模型 3.3.2 离散无记忆信道和独立并联信道的信道容量 3.4　多用户信道 3.5　连续信道 3.6　信道编码定理 * 离散无记忆N次扩展信道 一般离散无记忆信道的数学模型基本上与输入和输出为单符号的简单离散无记忆信道的模型相同。 不同的是其输入和输出不是单个随机变量X和Y，而是随机序列 其概率空间为 * 简单的离散无记忆信道 简单的离散无记忆信道的输入和输出都是单个随机变量，其数学模型如下图： 信道的输入随机变量取值于符号集X 信道的输出随机变量取值于符号集Y 信道的传递概率为 信道 X Y * 简单的离散无记忆信道 信道矩阵为： 且满足 这意味着矩阵中每一行之和为1。 * 离散无记忆信道的N次扩展信道 此离散无记忆信道的N次扩展信道的数学模型如下图： N次扩展信道 * N次扩展信道的信道矩阵 * N次扩展信道的信道矩阵 * 例 二元对称信道的二次扩展信道 分析二元无记忆对称信道的二次扩展信道。 * 例 二次扩展信道的传递概率 * 例 二次扩展信道的信道矩阵 从而求得二元对称信道的二次扩展信道的信道矩阵为： * 例 二元对称信道的二次扩展信道 二元对称信道的二次扩展信道如下图所示： * N次扩展信道的平均互信息 * 定理一 若信道的输入和输出分别是N长序列X和Y，且信道是无记忆的，亦即信道传递概率为 * 定理 二 若信道的输入和输出分别是N长序列X和Y，且信源是无记忆的，亦即 * N个独立信道并联 根据定理一和定理二可知，当信源和信道都是无记忆的。此时， 这相当于N个独立信道并联的情况。 * N个独立信道并联 数学模型 … * N次扩展信道 * N次扩展信道 这样，对于离散无记忆信道的 N 次扩展信道，当信源也是无记忆时，则有 I(X;Y) = N I(X;Y) 此式表明，当信源是无记忆时，对于无记忆的N次扩展信道，其平均互信息I(X;Y)等于原来信道的平均互信息I(X;Y)的 N 倍。 * 离散无记忆N次扩展信道 * N次扩展信道的信道容量 CN = NC 表明，对于离散无记忆 N 次扩展信道，其信道容量等于单变量信道的信道容量的N 倍。 只有当输入信源是无记忆的，同时序列中每一分量Xi , i = 1,2, ... ,N 的分布各自达到最佳分布时，N 次扩展信道的信道容量才能达到 NC 。 一般情况下，消息序列在离散无记忆 N 次扩展信道中传输时，其平均互信息量为： I(X;Y)≤ NC 对于独立并联信道，有 　 当Ｎ个输入随机变量之间统计独立，且每个输入随机