第3章信道与信道容量重点.ppt

* N维无记忆连续信道 * 一维无记忆加性连续信道＿信道容量与信道模型 信道容量C定义为 p(x)为输入信源的概率密度。 由于输入和干扰是相互独立的，对于一维连续加性信道，则信道模型为 　　　　　Y=X+N 式中X为输入随机变量，Y为输出随机变量，N为随机噪声，且X和N统计独立。 * 一维无记忆加性连续信道＿平均互信息 * 一维无记忆加性连续信道＿信道容量的分析 * 平均功率受限的一维加性高斯信道＿信道容量 * 连续信源的最大熵 最大连续熵定理： 峰值功率受限时＿均匀分布 定理：输出信号幅度受限条件下，对于服从均匀分布的随机变量X，具有最大输出熵。 平均功率受限时＿高斯分布 定理：平均功率受限条件下，对于服从均值为m，方差为σ2的高斯分布的随机变量具有最大输出熵。 均值受限时＿指数分布 定理：输出非负信号的均值受限条件下，具有指数分布的连续信源X具有最大熵值 * 非高斯型加性信道＿信道容量 * 第3章　信道与信道容量 3.1　信道分类 3.2　单符号离散信道 3.3　信道容量的计算 3.4　多符号离散信道 3.5　连续信道与波形信道 3.5.1　互信息与平均互信息 3.5.2 　连续信道的信道容量 3.5.3　波形信道的信道容量－香农公式 3.6　信道编码定理 * 波形信道时间离散化 * 平均功率受限情况下的高斯连续信道 * 平均功率受限情况下的高斯连续信道 ＿信道容量 * 平均功率受限情况下的高斯波形信道＿香农公式 * 波形信道容量＿香农公式分析 * 级联信道的传递概率 信道I 信道II * 定理1 级联信道中的平均互信息满足 * 定理2 数据处理定理 * 数据处理定理＿讨论 信道I 信道II * 数据处理定理＿物理意义 对于任何信息传输系统，最后输出的信息量最多等于最初信源提供的信息量。 一旦在某一传输过程中丢失部分信息，则以后的系统不论任何处理，如不触及到丢失信息过程的输入端，则无法再恢复已丢失的信息，这就是信息不增原理，它与热熵不减原理类似。 信息不增原理深刻地反映了信息最本质的物理意义。 * 例＿二元对称信道的串联 设有二个离散二元对称信道，其串联信道如下图所示。 设第一个二元对称信道的输入符号的概率空间，以及两个二元对称信道的信道矩阵为 二元对称信道 二元对称信道 * 例（续）＿二级串联的二元对称信道 * 例（续）＿n级串联的二元对称信道 如果在两个二元对称信道串联之后再增加一个级联环节，可得 依次类推，n个二元对称信道经串联，其平均互信息量如下 * N级二元对称信道串联＿结论 * 例：级联信道的信道矩阵 一串联信道如下图所示，求总的信道矩阵。设X、Y、Z满足马氏链的性质。 1/3 1/3 1/3 1/2 1/2 2/3 2/3 1/3 1/3 信道I 信道II * 例（续）＿级联信道的信道矩阵 * 例（续）＿级联信道的等效信道 则该级联信道可等效为如下的信道 1/3 1/2 1/6 1/3 1/3 1/3 * 小结 研究实际信道时，通常将其分解为若干简单信道的组合； 串联信道（级联信道），给出了两个定理； 重点分析了数据处理定理； 分析了n个二元对称信道的串联情况； 给出了两个信道串联的实例。 * 第3章　信道与信道容量 3.1　信道分类 3.2　单符号离散信道 3.3　信道容量的计算 3.4　多符号离散信道 3.4.1　一般多符号离散信道 3.4.2　离散无记忆N次扩展信道与独立并联信道 3.4.3　级联信道与数据处理定理 3.4.4　信源与信道匹配 3.5　连续信道　 3.6　信道编码定理 * 信源和信道匹配 对于一具体信道，其信道容量是一定的。 只有当输入符号的概率分布P(x)满足一定条件时，信道信息传输率才能达到信道容量C。 或者说只有一定的信源输出才能使该信道的信息传输率达到最大。 一般情况下，当信源与信道连接时，信息传输率R=I(X;Y)并未达到最大，R还有提高的可能。 当信源与信道连接时，若信息传输率达到了信道容量，我们称信源与信道达到了匹配，否则认为信道有剩余。 * 信道剩余度与相对剩余度 * 无损信道的相对剩余度 * 信源编码与信源信道匹配 信源编码将信源输出的消息变换成新信源的消息来传输，从而使新信源的熵接近最大熵，这样，新信源的消息通过信道的信息传输率接近最大值，信道剩余度接近于零，信道得到充分利用。这就是香农无失真信源编码理论，它使信源和信道达到匹配，信息传输率达到最大，提高了信息传输的有效性。 * 小结 若信源和信道匹配，则信息传输率等于信道容量，否则认为信道有剩余。 信源和信道匹配的意义：香农无失真信源编