信息论第3章信道的数学数学模型及分类.pptVIP

第3章 离散信道及其信息容量 3.1 信道的数学模型及分类 3.2 平均互信息及平均条件互信息 3.3 平均互信息的特性 3.4 信道容量及其一般计算方法 3.5 离散无记忆扩展信道及其信道容量 3.6 独立并联信道及其信道容量 3.7 串联信道的互信息和数据处理定理 3.8 信源与信道的匹配 3.1.1 信道的分类—— 按用户数目分 单用户（两端）信道 一个输入端、一个输出端 必须是单向通信 例：对讲机 多用户（多端）信道 输入输出至少有一端有两个以上用户 可以是双向通信 例：计算机网络 3.1.1 信道的分类—— 按输入输出的关联分 无反馈信道 输出端无信号反馈到输入端 例：无线电广播 反馈信道 输出端有信号反馈到输入端 例：手机通信 3.1.1 信道的分类—— 按参数与时间的关系分 固定参数信道 参数（的统计特性）不随时间变化 例：光纤通信 时变参数信道 参数（的统计特性）随时间变化 例：短波（天波）通信 3.1.1 信道的分类—— 按信号的特点分 离散信道 输入输出信号均为离散 例：数字电路 连续信道 输入输出信号均为连续 例：电视 半离散或半连续信道 输入输信号中一个为离散、另一个为连续 例：A/D、D/A 波形信道 输入输出信号均为模拟信号 例：无线电台广播 3.1.2 离散信道的数学模型—— 一般模型 输入信号 输出信号 条件概率 3.1.2 离散信道的数学模型——无干扰（无噪）信道 输入、输出信号 是确定关系 条件概率 3.1.2 离散信道的数学模型—— 有干扰无记忆信道 输入、输出信号 是概率关系 输出符号只与对应时刻的输入符号相关 条件概率 3.1.2 离散信道的数学模型—— 有干扰有记忆信道 输入、输出信号 是概率关系 输出符号与其他时刻的输入或输出符号相关 条件概率 3.1.3 单符号离散信道的数学模型—— 二元对称信道，BSC 3.1.3 单符号离散信道的数学模型—— 二元删除信道，BEC 3.1.3 单符号离散信道的数学模型—— 一般模型 3.2.1 信道疑义度—— 先验熵 3.2.1 信道疑义度—— 信道疑义度 3.2.1 信道疑义度—— 信道疑义度的性质 3.2.2 平均互信息—— 平均互信息 3.2.2 平均互信息—— 平均互信息 3.2.2 平均互信息—— 平均互信息 3.2.2 平均互信息—— 平均互信息 无噪一一对应信道 X和Y完全统计独立 第3章 离散信道及其信息容量 3.1 信道的数学模型及分类 3.2 平均互信息及平均条件互信息 3.3 平均互信息的特性 3.4 信道容量及其一般计算方法 3.5 离散无记忆扩展信道及其信道容量 3.6 独立并联信道及其信道容量 3.7 串联信道的互信息和数据处理定理 3.8 信源与信道的匹配 3.3 平均互信息的特性—— 非负性、极值性、交互性 非负性 极值性 交互性 3.3 平均互信息的特性—— 例 3.4 [P97] 3.3 平均互信息的特性—— 例 3.4 [P97] 3.3 平均互信息的特性—— 例 3.4 [P97] 3.3 平均互信息的特性—— 凸状性 给定信道传递概率 信源的概率分布不同，平均互信息量不同 一定存在一种信源，使平均互信息量最大 给定信源概率分布 信道传递概率不同，平均互信息量不同 一定存在一种信道，使平均互信息量最小(0) 第3章 离散信道及其信息容量 3.1 信道的数学模型及分类 3.2 平均互信息及平均条件互信息 3.3 平均互信息的特性 3.4 信道容量及其一般计算方法 3.5 离散无记忆扩展信道及其信道容量 3.6 独立并联信道及其信道容量 3.7 串联信道的互信息和数据处理定理 3.8 信源与信道的匹配 3.4 信道容量及其一般计算方法—— 信道容量 信道传输率 信道容量 3.4 信道容量及其一般计算方法—— 二元对称信道(例 3.5 [P99]) 3.4.1 离散无噪信道的信道容量—— 无噪无损信道 3.4.1 离散无噪信道的信道容量—— 无损（有噪）信道 3.4.1 离散无噪信道的信道容量—— 无噪有损信道 3.5~3.7 其他离散信道—— 信道容量 离散无记忆扩展信道 独立并联信道 串联信道 3.5~3.7 其他离散信道—— 数据处理定理 3.8 信源与信道的匹配—— 信道冗余度 信道I 信道II 信道III … X Y Z W * * r、s不一定相等 (X/Y) 传递矩阵： 传递矩阵： 2 传递矩阵： 信源 信道 信宿 噪声源 干扰 X 在未收到输出之前，关于X的不确定性的量度 信源 信道 信宿 噪声源 干扰 X Y 在收到输出Y之后，关于X的不确定性的量度 信源 信道