《信息论与编码原理》孟放-第三章 离散信道（2）-张老师.pdfVIP

第三章 离散信道 1、信源的输出中含 2、信道上传输多 有多少信息（最大熵） 少信息（信道容量） 5、有噪信道编码 3、无失真信源编码 4、限失真信源编码 问题  如何度量信道上传输的信息量（接收到的信 息量）？  信道传输信息的能力？  信源与信道的匹配？ 主要内容  平均互信息  信道的数学模型及其分类  离散无记忆信道  单符号信道  离散无记忆扩展信道  一般离散信道  信道的组合  信道容量  信道剩余度 3.1信道的数学模型及其分类 3.1信道的数学模型 X P Y X Y ( | ) 一般信道的数学模型 信道数学模型 包括:{X , P(Y|X), Y} P(Y|X) ：信道转移概率/信道传递概率/条件概率 描述输入信号和输出信号之间统计依赖关系，反映 了信道的统计特性。 3.1信道的分类  按输入/输出信号的幅度和时间特性划分： 幅度 时间 信道分类名称 离散 离散 离散信道（数字信道） 讨论纠错编码时有用 连续 离散 连续信道 连续 连续 模拟信道（波形信道）， 实际信道 离散 连续 （理论和实用价值均很小） 3.1信道的分类  按输入输出之间的记忆性来划分：  无记忆信道：信道在某时刻的输出只与信道该时 刻的输入有关，而与信道其他时刻的输入、输出 无关。  有记忆信道：信道在某时刻的输出与其他时刻的 输入、输出有关。  按信道的统计特性是否随时间改变而改变:  平稳信道 （恒参信道、时不变信道，如卫星通信）  非平稳信道 （随参信道、时变信道，如移动通信） 3.1信道的分类  按信道的输入/输出是否是确定关系可分为: 有干扰信道  无干扰信道  按输入/输出的个数可分为： 两端信道 （单用户信道）：一个输入一个输出的单向 通信。  多用户信道：双向通信或三个或更多个用户之间相互 通信的情况 ，例如多元接入信道、广播信道、网络 通信信道等。 3.1信道的分类 本章重点讨论： 单用户、无记忆、恒参 （平稳）、 有干扰的离散信道为重点 重点  信道特点  数学模型  平均互信息 3.2离散无记忆信道 3.2单符号离散信道 数学模型： P ( | ) X 信道 Y 噪声 X 为随机变量，输入符号集 A a 1 , a 2 , , a r  Y 为随机变量，输出符号集 B b , b , , b  1 2 s 信道传递概率为p (b | a ) p (Y b | X a ) j i j i s p (b j |a