信息论与编码基础_教学课件_3.pptVIP

信息论与编码基础 离散信道 一、信道疑义度与平均互信息 三、有噪信道编码定理 定义 简单离散信道的信道容量 对称离散信道的信道容量 扩展信道的信道容量 香农公式 二、信道容量 信息论与编码基础 离散信道 平均互信息I(X;Y)代表了接收到每个输出符号后获 得的关于X的平均信息量，又叫做信道的信息传输率。 定理 在信道转移概率 给定的条件下，平均互信息 是输入信源概率分布 的 型凸函数。 定义 一个平稳离散无记忆信道的容量C为输入与输出平均 互信息 的最大值。 说明： bit/sig 1）信道给定后，p(y|x)就固定，C仅与p(y|x)有关，而与P(x)无关 2）Ct是信道最大传输速率。 Ct = C/t bit/s 信息论与编码基础 离散信道 一、信道疑义度与平均互信息 二、信道容量 三、有噪信道编码定理 定义 简单离散信道的信道容量 对称离散信道的信道容量 扩展信道的信道容量 香农公式 信息论与编码基础 离散信道 信道 1、无噪无损信道 I(X;Y)=H(X)-H(X|Y) 信息论与编码基础 离散信道 2、有噪无损信道 I(X;Y)=H(X)-H(X|Y) 信息论与编码基础 离散信道 3、有损无噪信道 I(X;Y)=H(Y)-H(Y|X) 信息论与编码基础 离散信道 总结： 1）若严格区分，凡损失熵等于0的信道称为无损信道； 凡噪声熵等于0的信道称为无噪信道。 2）无损信道 3）无噪信道 信息论与编码基础 离散信道 例 求BEC的信道容量 信息论与编码基础 离散信道 信息论与编码基础 离散信道 一、信道疑义度与平均互信息 二、信道容量 三、有噪信道编码定理 定义 简单离散信道的信道容量 对称离散信道的信道容量 扩展信道的信道容量 香农公式 ？ 信息论与编码基础 离散信道 ？ 信息论与编码基础 离散信道 例 强对称信道 信息论与编码基础 离散信道 有噪声的打字机信道 考虑26个键的打字机 1）如果每敲击一个键，它就准确地输出相应的字符， 那么该容量C是多少？ 2）如果假设敲击一个键都会导致输出该键对应的字母 或者下一个字母等概率出现，即敲A可能输出A或B，… 敲Z可能输出Z或A。那么此时的容量如何？ 信息论与编码基础 离散信道 本课小结 2、平均互信息性质 非负性、极值性、对称性、凸函数特性 信息论与编码基础 离散信道 1、平均互信息概念 3、信道容量及其计算 信息论与编码基础 离散信道 一、信道疑义度与平均互信息 二、信道容量 三、有噪信道编码定理 定义 简单离散信道的信道容量 对称离散信道的信道容量 扩展信道的信道容量 香农公式 ？ 信息论与编码基础 离散信道 ？ 信息论与编码基础 离散信道 例 强对称信道 信息论与编码基础 离散信道 有噪声的打字机信道 考虑26个键的打字机 1）如果每敲击一个键，它就准确地输出相应的字符， 那么该容量C是多少？ 2）如果假设敲击一个键都会导致输出该键对应的字母 或者下一个字母等概率出现，即敲A可能输出A或B，… 敲Z可能输出Z或A。那么此时的容量如何？ 信息论与编码基础 离散信道 一、信道疑义度与平均互信息 二、信道容量 三、有噪信道编码定理 定义 简单离散信道的信道容量 对称离散信道的信道容量 扩展信道的信道容量 香农公式 信息论与编码基础 离散信道 信息论与编码基础 离散信道 信道 信道 离散无记忆N次扩展信道模型 1、信道模型 信道转移矩阵 其中 1、信道模型 BSC的二次扩展信道 信息论与编码基础 离散信道 2、平均互信息 bit/N-sig 信息论与编码基础 离散信道 定理 对于离散无记忆信道，有 证明： 信息论与编码基础 离散信道 2、平均互信息 信息论与编码基础 离散信道 一、信道疑义度与平均互信息 二、信道容量 三、有噪信道编码定理 一、信道疑义度与平均互信息 二、信道容量 三、有噪信道编码定理 信道模型 信道疑义度 平均互信息及其性质 信息论与编码基础 离散信道 一、信道疑义度与平均互信息 二、信道容量 三、有噪信道编码定理 信道模型 信道疑义度 平均互信息及其性质 信息论与编码基础 离散信道 根据输入、输出信号的时间特性和取值特性 离散信道 连续信道 半离散或半连续信道 波形信道 信道的分类 数字信道 根据信道的用户多少 单用户信道 多用户信道 一对多、多对一 多对多 信息论与编码基础 离散信道 根据信道转移概率的性质 无扰信道 有扰信道 实际的通信信道几乎都是有扰信道 无记忆信道 有记忆信道 实际信道一般都是有记忆的，信道中的记忆现象来源于物理 信道中的惯性，如电缆信道中的电感或电容、无线信道中电 波传播的衰落现象等。 按信道统计特性 恒参信道 变参信道 卫星信道 短波信道 根据信道噪声的性质 高斯噪声信道 非高斯噪声信道 信道的分类 信息论与编码基础 离散信道