信息论与编码技术_第三章.ppt

信息理论与编码技术 电子信息工程系 赵丽华 第3章 信道与信道容量 3.1 信道的基本概念 3.1.1信道的分类 3.1.1信道的分类 3.1.2 信道参数 3.1.2 信道参数 3.1.2 信道参数 3.1.2 信道参数 3.1.2 信道参数 3.1.2 信道参数 3.1.2 信道参数 3.1.2 信道参数 3.1.2 信道参数 知识回顾 平均互信息 知识回顾 性质： 知识回顾 3.1.3 信道容量 信道容量定义：对于一个固定的信道总存在一种信源(p(x))使信道中每传输一个符号所携带的信息量达到最大，这个最大信息量称为该信道的“信道容量”——C 3.1.3 信道容量 问题1：若信道中传输一个符号所需t秒，那么一秒钟该信道能传输的最大信息量是多少？ 3.2离散单个符号信道及其容量 （1）无噪无损信道 平均互信息 几种简单信道的信道容量计算 （2）有噪无损信道 平均互信息 几种简单信道的信道容量计算 （3）无噪有损信道 对称离散信道的信道容量计算 对称离散信道的信道容量计算 3.2.3准对称DMC信道 3.2.3准对称DMC信道 3.2.3准对称DMC信道 3.2.3准对称DMC信道 3.2.3准对称DMC信道 3.2.4一般DMC信道 3.2.4一般DMC信道 Click to edit company slogan . 最大化的充分必要条件是 东北石油大学 * 1、按输入输出信号分类 离散信道 连续信道 半连续信道 波形信道 2、其他分类 用户数量：单用户、多用户 输入端和输出端的关系：无反馈、有反馈 信道参数和时间的关系：固参，时变参 噪声种类：随机差错，突变差错 设信道输入矢量为 输出矢量为 条件概率 来描述信道输入输出信号 之间统计的依赖关系 条件概率 来描述信道输入输出信号 1、无干扰（无噪声）信道 条件概率 2、有干扰无记忆信道信道 信道的输出信号Y与输入信号X之间没有确 定的关系，但转移概率满足如下情况： (1)二进制离散信道(BSC) 信道模型 矩阵形式 (1)二进制离散信道(BSC) 信道模型 矩阵形式 (2) 离散无记忆信道(DMC) 假设信道输入符号选自一个有限的，离散的输 入符号集 而信道输出可以是实轴上的任意值 叫离散时间无记忆信道 (3) 离散输入、连续输出信道 条件概率密度函数 概率密度函数： 典型信道：高斯白噪声（AWGN)信道 G是高斯白噪声信号。 1）定义：满足输入、输出均为模拟波形（连续 信号）的信道，称为波形信道 2）假设输入信道的带限信号 ,相应的输出 (4) 波形信道 如：加性噪声函数 注：带限信号 信道转移概率密度函数为： 且满足 若多维连续信道的转移概率密度函数满足： 称此信道为连续无记忆信道。 1.非负性 2.极值性 3.对称性 4.平均互信息的凸函数性 是 定理1 的 函数。 定理2 是 的 函数。 相应的信源概率分布p(x)称为“最佳输入分布” 问题2：C与信息的概率分布p(x)有没有关系？ 注意：C表征的是信道的传输信息的能力只与信道的传递概率有关，而与信源的概率分布无关。 3.2.1无干扰离散信道 平均互信息 若 时 等概 最大 每一行都是第一行的置换。 每一列都是第一列的置换。 3.2.2对称离散信道 强对称信道 二进制对称信道 如果转移概率矩阵P是输入对称而输出不对称，即转移概率矩阵P的每一行都包含同样的元素，而各列的元素可以不同，则该矩阵是准对称DMC信道。 例3-5 已知一个信道的转移矩阵为 求该信道的信道容量。 将转移概率矩阵划分成若干个互不相干的对称的转移概率矩阵，如： 为输入符号集个数 是第k个子矩阵中列元素之和。 是第k个子矩阵中行元素之和 是转移概率矩阵P中一行的元素 输入分布为等概率时，达到信道容量为 用矩阵分解的方法求解 求该信道的信道容量。 东北石油大学