第三章渠道模式和渠道容量.ppt

信息论基础Fundaments of Information Theory 武汉科技大学信息科学与工程学院 第三章 信道模型和信道容量 信道的基本概念 信道的数学模型 平均互信息量、损失熵、噪音熵 信道容量 离散对称信道的信道容量计算 信息传输系统 信道的基本概念 信道的基本概念 信道的任务：以信号的方式传输信息和存储信息 信道的基本概念 信道的基本概念 信道的基本概念 信道的基本概念 信道的基本概念 信道的任务：以信号的方式传输信息和存储信息 信道的基本概念－信道分类 根据信道用户的多少，可以分为： 单用户信道：只有一个输入、一个输出的单向信道 多用户信道：输入、输出至少有一端有两个以上的用户，还有可能是双向信道 信道的基本概念－信道分类 根据信道的记忆特性 无记忆信道：信道输出只与当前的输入有关 有记忆信道：信道输出不仅与当前输入有关，还与过去的输入有关 信道的基本概念－信道分类 根据输入、输出信号的取值特点： 离散输入：输入输出的随机序列取值都是离散的 连续信道：输入输出的随机序列取值都是连续的 半离散半连续信道：输入序列取值离散而输出序列取值连续，或者反之。 波形信道：输入输出信号在时间上和取值上都是连续的，不能用随机序列，而需要用随机过程表示 信道的基本概念－信道分类 根据信道参数与时间的关系，可以分为： 固定参数信道：信道参数（统计特性）不随时间变化而变化 时变参数信道：信道参数（统计特性）随时间变化而变化 信道的数学模型 X和Y分别是输入和输出随机序列 信道的数学模型 是条件概率分布，或称为条件概率 矩阵 描述了输入信号、输出信号之间的 统计依赖关系，反映了信道的统计特性. 信道的数学模型 根据信道的统计特性，即 的不同， 离散信道可以分成三种情况： 无干扰信道 有干扰无记忆信道 有干扰有记忆信道 无干扰信道 最理想的信道，信道中没有随机性的干 扰，输出信号和输入信号有一一对应的函数 关系 有干扰无记忆信道 一般信道中都存在着干扰和噪声，所以输出符号和输入符号之间没有确定的对应关系，而是统计依赖关系。 有干扰无记忆信道 不仅仅是有干扰信道，而且是无记忆的。 无记忆的信道指的是在任一时刻的输出符 号只统计依赖于对应时刻的输入符号，而 与其它时刻的输入符号和其它时刻的输出 符号无关。 有干扰无记忆信道 满足离散无记忆信道的充要条件是 有干扰无记忆信道－模型简化 一般的信道输入模型： 离散无记忆信道－模型简化 输入输出随机序列间的随机特性可以用一对 输入输出分量间的随机特性来表示，数学模型中 的随机序列可以用随机变量来表示 单符号离散信道（DMC） 传递矩阵性质 相关概率 相关概率－计算 相关概率－计算 相关概率－例题 离散单符号信道举例 离散单符号信道举例 离散单符号信道举例 离散单符号信道举例 离散单符号信道举例 互信息量－定义 互信息量－定义 互信息量－定义 互信息量－定义 互信息量－定义 互信息量－举例 互信息量－举例 互信息量－三种理解方式 互信息量－三种理解方式 平均互信息量－定义 平均互信息量－定义 平均互信息量－与各种熵的关系 平均互信息量－与各种熵的关系 平均互信息量－与各种熵的关系 平均互信息量－与各种熵的关系 平均互信息量－与各种熵的关系 平均互信息量－与各种熵的关系 平均互信息量－与各种熵的关系 平均互信息量－与各种熵的关系 平均互信息量－与各种熵的关系 平均互信息量－与各种熵的关系 平均互信息量－与各种熵的关系 平均互信息量－计算 平均互信息量－计算 平均互信息量－计算 平均互信息量－例题 平均互信息量 平均互信息量－课堂作业 平均互信息量－性质 平均互信息量－性质 平均互信息量－性质 平均互信息量－性质 平均互信息量－性质 平均互信息量－性质 信道容量的定义 研究信道的目的就是研究信道所能够传输 的最大信息量，即信道容量 定义平均互信息量，即信道的信息率： 定义信息传输速率： (单位：bit/s) 信道容量的定义 根据定理一：对于特定信道， 是输入 信号的概率分布 的上凸型凸函数，存 在一种输入信号的概率分布，使 最大。 定义最大的信息传输率或信息传输速率为信 道容量 相应的输入概率分布称为最佳输入分布 信道容量的计算 求信道容量是本章的重点 从数学的角度上分析，求信道容量是对一 个特定的信道，调整输入信号的概率分 布，求 的最大值的问题 对于一般的信道，信道容量的计算非常复 杂，我们仅研究一些特殊的信道容量 离散无噪确定信道的信道容量 信道中没有干扰，输入符号和输出符号之间 有一一对应的函