信息论与编码基础教学课件3.pptVIP

2、高斯信道的信道容量 I X;Y h y – h y|x h y - h z xi yi zi xi:样值，正态分布 yi:样值，正态分布 yi xi + zi:正态分布 xi、zi统计独立 高斯信道 通信模型 信息论与编码基础 离散信道 信道的输出功率为 E y2 E x + z 2 E x2 + 0 + E z2 S + N 根据最大熵定理 平均功率受限条件下信源的最大熵定理 若某信源输出信号的平均功率和均值被限定，则当 其输出信号幅度的概率密度函数p x 是高斯分布时， 信源达到最大熵值。 信息论与编码基础 离散信道 2、高斯信道的信道容量 3、带限信道的信道容量 对于带限信号，采样定理指出，若信号的有效带宽为 B，采样频率为fs，则当fs≥2B时，样值序列能够保留 原连续信号全部的频谱特征，或者说全部的信息量。 香农公式 信息论与编码基础 离散信道 练习 设在平均功率受限高斯可加波形信道中，信道带宽为 3kHz，又设（信号功率 + 噪声功率）/噪声功率 10dB。 ①试计算该信道传送的最大信息传输速率（单位时间）。 ②若功率信噪比降为5dB，要达到相同的最大信息传 输速率，信道带宽应是多少？ 信息论与编码基础 离散信道 本课小结 2、扩展信道的信道容量 矢量形式的平均互信息 信息论与编码基础 离散信道 1、对称离散信道的信道容量 3、香农公式 * * * * * * * * * * * 信息论与编码基础 离散信道 一、信道疑义度与平均互信息 三、有噪信道编码定理 定义 简单离散信道的信道容量 对称离散信道的信道容量 扩展信道的信道容量 香农公式 二、信道容量 信息论与编码基础 离散信道 平均互信息I X;Y 代表了接收到每个输出符号后获 得的关于X的平均信息量，又叫做信道的信息传输率。 定理 在信道转移概率 给定的条件下，平均互信息 是输入信源概率分布 的 型凸函数。 定义 一个平稳离散无记忆信道的容量C为输入与输出平均 互信息 的最大值。 说明： bit/sig 1）信道给定后，p y|x 就固定，C仅与p y|x 有关，而与P x 无关 2）Ct是信道最大传输速率。 Ct C/t bit/s 信息论与编码基础 离散信道 一、信道疑义度与平均互信息 二、信道容量 三、有噪信道编码定理 定义 简单离散信道的信道容量 对称离散信道的信道容量 扩展信道的信道容量 香农公式 信息论与编码基础 离散信道 信道 1、无噪无损信道 I X;Y H X -H X|Y 信息论与编码基础 离散信道 2、有噪无损信道 I X;Y H X -H X|Y 信息论与编码基础 离散信道 3、有损无噪信道 I X;Y H Y -H Y|X 信息论与编码基础 离散信道 总结： 1）若严格区分，凡损失熵等于0的信道称为无损信道； 凡噪声熵等于0的信道称为无噪信道。 2）无损信道 3）无噪信道 信息论与编码基础 离散信道 例 求BEC的信道容量 信息论与编码基础 离散信道 信息论与编码基础 离散信道 一、信道疑义度与平均互信息 二、信道容量 三、有噪信道编码定理 定义 简单离散信道的信道容量 对称离散信道的信道容量 扩展信道的信道容量 香农公式 ？ 信息论与编码基础 离散信道 ？ 信息论与编码基础 离散信道 例 强对称信道 信息论与编码基础 离散信道 有噪声的打字机信道 考虑26个键的打字机 1）如果每敲击一个键，它就准确地输出相应的字符， 那么该容量C是多少？ 2）如果假设敲击一个键都会导致输出该键对应的字母 或者下一个字母等概率出现，即敲A可能输出A或B，… 敲Z可能输出Z或A。那么此时的容量如何？ 信息论与编码基础 离散信道 本课小结 2、平均互信息性质 非负性、极值性、对称性、凸函数特性 信息论与编码基础 离散信道 1、平均互信息概念 3、信道容量及其计算 信息论与编码基础 离散信道 一、信道疑义度与平均互信息 二、信道容量 三、有噪信道编码定理 定义 简单离散信道的信道容量 对称离散信道的信道容量 扩展信道的信道容量 香农公式 ？ 信息论与编码基础 离散信道 ？ 信息论与编码基础 离散信道 例 强对称信道 信息论与编码基础 离散信道 有噪声的打字机信道 考虑26个键的打字机 1）如果每敲击一个键，它就准确地输出相应的字符， 那么该容量C是多少？ 2）如果假设敲击一个键都会导致输出该键对应的字母 或者下一个字母等概率出现，即敲A可能输出A或B，… 敲Z可能输出Z或A。那么此时的容量如何？ 信息论与编码基础 离散信道 一、信道疑义度与平均互信息 二、信道容量 三、有噪信道编码定理 定义 简单离散信道的信道容量 对称离散信道的信道容量 扩展信道的信道容量 香农公式 信息