信息理论与编码3.ppt

信息理论与编码 第三章 信道模型和信道容量 第3章 信道模型和信道容量 3.1 信道模型与信道分类 3.2 离散无记忆信道的数学模型 3.3 概率的计算问题 3.4 信道的疑义度、散布度和平均互信息 3.5 信道容量 3.6 扩展信道及其信道容量 3.7 信道的组合 3.8 信源与信道的匹配 3.9 连续信道及其信道容量 3.10 波形信道及其信道容量 3.1 信道模型与信道分类 信道模型 信道分类 3.2 离散无记忆信道的数学模型 数学模型 模型示意图 常见DMC线图 3.3 概率的计算问题 DMC 涉及的概率 各矩阵之间的关系 3.4 信道的疑义度、散布度和平均互信息 信道的平均互信息量 与各类熵之间的关系为： 3.4.1 信道的疑义度 3.4.2 信道的散布度 3.4.3 信道的平均互信息 3.4.1 信道的疑义度 疑义度或损失熵的定义 疑义度或损失熵的计算 特例 3.4.2 信道的散布度 散布度或噪声熵的定义 散布度或噪声熵的计算 特例 3.4.3 信道的平均互信息 信道平均互信息量的定义 对于平均互信息量 ，把 和 分别看作离散无记忆信道 的输入和输出，即为信道平均互信息。 3.5 信道容量 3.5.1 信道容量的定义 3.5.2 离散无噪信道的信道容量 3.5.3 离散对称信道 3.5.4 一般DMC达到信道容量的充要条件 3.5.5 信道容量的迭代算法 3.5.1 信道容量的定义 DMC 中平均每个符号传递的信息量，即信道的信息率R ，就是信道的平均互信息量： bit /符号 若信道平均传送一个符号所需时间为t秒，则 bit /s 称为信息（传输）速率。 3.5.2 离散无噪信道的信道容量 无噪信道是无损信道、确定信道以及无损确定信道的统称。 无损信道 确定信道 无损确定信道 3.5.3 离散对称信道 离散输入对称信道定义 离散输出对称信道定义 离散对称信道定义 离散准对称信道定义 离散对称和准对称信道的信道容量 3.5.4 一般DMC达到信道容量的充要条件 定理（Kuhn-Tucker）： 设 是定义在所有分量均非负的半n维空间上的上凸函数，其中 ，假定 的一阶偏导数均存在，且在定义空间上连续，则 在定义空间上点 处取最大值的充要条件是 ，当 时； ，当 时 Kuhn-Tucker定理给出了凸函数存在最大值的充要条件，即K-T条件。 3.5.5 信道容量的迭代算法 定理 信道容量的迭代算法流程图 3.6 扩展信道及其信道容量 3.6.1 扩展信道的数学模型 3.6.2 扩展信道的平均互信息量和信道容量 3.6.1 扩展信道的数学模型 N 次扩展信道的模型 信道是DMC 的充要条件 3.6.2 扩展信道的平均互信息量和信道容量 扩展信道的平均互信息量的概率表达式 平均互信息量与各类熵之间的恒等式 定理（信道无记忆） 定理（信源无记忆） 推论 3.7 信道的组合 3.7.1 串联信道 3.7.2 独立并联信道 3.7.1 串联信道 串联信道的转移概率矩阵 串联信道 记串联信道中三个随机变量 X 、Y 以及 Z 的取值符号集分别为 XYZ 组成一个马尔可夫链。 3.7.2 独立并联信道 独立并联信道 独立并联信道可等效成一个多符号信道——N 次扩展信道 ，其平均互信息量为 。 3.8 信源与信道的匹配 符号匹配 信息匹配 3.9 连续信道及其信道容量 3.9.1 连续信道的数学模型 3.9.2 加性高斯噪声信道的信道容量 3.9.3 一般加性噪声信道的信道容量的界 3.9.1 连续信道的数学模型 单维连续信道数学模型 多维连续信道模型 连续无记忆信道 连续信道的平均互信息量 连续信道的信道容量 3.9.2 加性高