第3章信道容量.pptVIP

第3章 信道容量 研究：在什么条件下，通过信道的信息量最大？多少？ 第3章 信道容量 3.1 信道数学模型和分类 3.2 单符号离散信道的信道容量 3.3 多符号离散信道 3.4 多用户信道 3.5 连续信道 3.6 信道编码定理 3.1信道数学模型和分类 一、信道数学模型 X,Y——随机过程：时间连续的时间信号 信号带宽有限，X,Y可抽样为时间离散的随机序列，每序列为一随机变量. 二、信道分类 (1) 根据输入、输出随机信号特点 离散信道——输入、输出随机变量均离散取值 连续信道——输入、输出随机变量均连续取值 半离散(连续)信道——一为离散，另一为连续 3.1信道数学模型和分类(续) 二、信道分类 (2) 根据输入、输出随机变量的个数 单符号信道——输入、输出均用随机变量表示 多符号信道——输入、输出用随机矢量表示 (3) 根据输入、输出端的个数 单用户信道——输入、输出均只有一个 多用户信道——输入、输出有多个 3.1信道数学模型和分类(续) 二、信道分类 (4) 根据信道上有无噪声(干扰) 有噪(扰)信道 无噪(扰)信道 (5) 根据信道有无记忆特性 无记忆信道——输出仅与当前输入有关 与先前输入无关 有记忆信道——输出不仅与当前输入有关 还与先前输入有关 3.2.1 信道容量定义(续) 二、信道容量 1. 互信息I(X;Y) ——平均来说，每传送一个信道符号时， 流经信道的有用信息量 I(X;Y) = H(X) – H(X/Y) ≤H(X) 于是， I(X;Y) 是二元函数：p(xi)的上凸函数 p(yj/xi)的下凸函数 3.2.1 信道容量定义(续) 二、信道容量 2. 信道容量 (1) 定义 (2) 含义 ①给定信道时，对应各种输入概率分布求取的 最大互信息(每信道符号) ②给定信道时，理论上能传输的最大(有用)信息量 3.最高信息传输速率Ct [含义] 单位时间内 信道中传输的最大有用信息量——信息传输速率 3.2.2几种特殊信道的C 一、离散无噪声信道 (n = m) 1.具有一一对应关系的无噪信道 ——一对一，无噪无损信道 信道矩阵——单位阵：元素为0、1 损失熵 H(X/Y) = 0 噪声熵 H(Y/X) = 0 互信息 I(X;Y) = H(X) = H(Y) 3.2.2几种特殊信道的C (续) 一、离散无噪声信道 (n ＜ m) 2. 具有扩展性的无噪信道 ——一对多，有噪无损信道 信道矩阵——每列只有一个非0元 元素不全是0、1 损失熵 H(X/Y) = 0 噪声熵 H(Y/X) ≠ 0 H(X) ＜ H(Y) 3.2.2几种特殊信道的C (续) 一、离散无噪声信道 (n ＞ m) 3.具有归并性的无噪信道 ——多对一，无噪有损信道 信道矩阵——每行只有一个非0元 元素为0、1 损失熵 H(X/Y) ≠ 0 噪声熵 H(Y/X) = 0 H(X) ＞ H(Y) 输入分布非唯一 3.2.2几种特殊信道的C(续) 二、强对称离散信道 1. 信道特点 信道输入、输出均为n元 每符号正确传输概率均为 其他符号错误传输概率为p/(n-1) 2.矩阵特点 (1) n×n阶对称阵 (2) 二值矩阵 (3) 每行和为1,每列和为1 3.3.2 扩展信道和独立并联信道 一、扩展信道 1. 定义——若多符号离散信道的转移概率满足 则称之为离散无记忆信道的扩展信道 [解释]扩展信道的转移概率 =各时刻单符号信道转移概率之连乘 无记忆性——k时刻输出Yk只与k 时刻输入Xk有关, 与k时刻之前输入X1X2… Xk-1无关 无予感性——k时刻之前输出Y1Y2… Yk-1 只与k时刻之前输入X1X2… Xk-1有关，与Xk无关 [结论] N次扩展信道——无记忆，无予感 3.3.2 扩展信道和独立并联信道(续) 一、扩展信道 2. 互信息和信道容量 (1)