信息论与编码第3章.ppt

普通高等教育“十五”国家级规划教材《信息论与编码》 曹雪虹等编著 第3章信道与信道容量 3.1 信道的基本概念 3.2 离散单个符号信道及其容量 3.3 离散序列信道及其容量(略) 3.4 连续信道及其容量 3.5 信源与信道的匹配 3.1信道的基本概念 信道可以是简单的一段电路，也可以是包含了设备的复杂系统。即使在同一个通信系统中，也可以有不同的划分。 研究信道就是研究信道中理论上能够传输或者存储的最大信息量，即信道的容量问题。 3.1信道的基本概念 3.1.1 信道分类 用户数量：单用户、多用户 输入端和输出端关系：无反馈、有反馈 信道参数与时间的关系：固参、时变参 噪声种类：随机差错、突发差错 输入输出特点：离散、连续、半离散半连续、 波形信道 3.1.2 信道参数 信道种类 无干扰（无噪声）信道 信道种类 有干扰无记忆信道 二进制对称信道（BSC） 信道种类 有干扰无记忆信道 离散无记忆信道 信道种类 有干扰无记忆信道 离散输入、连续输出信道：输入有限的、离散的；输出是连续的 信道种类 有干扰无记忆信道 波形信道：输入是模拟波形；输出也是模拟波形 信道种类 有干扰有记忆信道 两种处理方法： 将记忆性较强的多个符号当作矢量符号，各个矢量符号之间认为无记忆； 将转移概率看作马尔科夫链的形式，信道的统计特性可用现时刻输入信号和前时刻信道所处的状态的条件概率决定。 信道种类 分析目的不同，所选的信道模型也不同： 设计和分析离散信道编、解码器的性能，从工程角度出发：DMC或BSC信道模型 从分析性能的理论极限角度出发：离散输入、连续输出信道模型 设计和分析数字调制、解调器的性能：波形信道模型 本书的后续部分主要讨论编解码，因此，DMC信道使用最多。 3.1.3 信道容量的定义 信息传输率：信道中平均每个符号所能传送的信息量， R=I(X;Y)=H(X)－H(X/Y) 比特/符号 信息传输速率：信道在单位时间内平均传输的信息量，Rt=I(X;Y)/T 比特/秒 信道容量：信道所能传送的最大信息量。 比特/符号（bits/symbol或bits/channel use） 注意限制条件：概率的非负性与全概率公式。 两个问题：I(X; Y)的最大值是否存在？若存在，怎样才能找到它？ 第一个问题，即信道容量的存在性问题，由以下存在性定理来说明。 定理：给定转移概率矩阵P后，平均互信息I(X;Y)是概率矢量Px的上凸函数。(证明略) 用I(Px)表示I是Px的函数，则在I(Px)曲线上凸点所对应的输入符号概率矢量Px上，I(Px)取得极大值，这个极大值就是信道容量。 第二个问题，信道容量的计算问题。 对于固定信道参数的信道，信道容量是个固定值，但在传输时能否提供最大的传输能力，取决于输入端符号的概率分布。 3.2 离散单个符号信道及其容量 3.2.1 无干扰离散信道的信道容量 3.2离散单个符号信道及其容量 3.2.2 对称DMC信道 输入对称 如果转移概率矩阵P的每一行都是第一行的置换(包含同样元素)，称该矩阵是输入对称 输出对称 如果转移概率矩阵P的每一列都是第一列的置换(包含同样元素)，称该矩阵是输出对称 对称的DMC信道 如果输入、输出都对称 3.2.2 对称DMC信道及其容量 对称DMC信道例子 3.2.2 对称DMC信道及其容量 对称信道的条件熵H(Y/X)与信道输入符号的概率分布无关，且有 3.2.2 对称DMC信道及其容量 对称信道容量 3.2.2 对称DMC信道及其容量 例3-1. 求信道容量 3.2.2 对称DMC信道及其容量 例3-2. 求信道容量 3.2.2 对称DMC信道及其容量 二进制对称信道容量 C＝1－H（?） 3.2.2 对称DMC信道及其容量 串联信道 3.2.2 对称DMC信道及其容量 例3-4.设有两个离散BSC信道串接，两个BSC信道的转移矩阵如下，求信道容量 3.2.2 对称DMC信道及其容量 信道容量 I(X;Y)=1-H(?)，I(X;Z)=1-H[2? (1-?)] 3.2离散单个符号信道及其容量 3.2.3 准对称DMC信道 如果转移概率矩阵P是输入对称而输出不对称，即转移概率矩阵P的每一行都包含同样的元素而各列的元素可以不同，则称该信道是准对称DMC信道 3.2.3 准对称DMC信道及其容量 准对称DMC信道容量 3.2.3 准对称DMC信道及其容量 例3-6. 求信道容量 3.2.3 准对称DMC信道及其容量 方法二 当p(a1)＝p(a2)＝1/2时，p(b1)＝p(b2)＝(1-0.2)/2＝0.4 C=H(Y)-H(Y/X)=0.036 bit/符号 3.2.3 准对称DMC