第三章-1离散信道及其信道容量.pptVIP

第三章：离散信道及其 信道容量 主要内容 1、信道的数学模型和分类 2、平均互信息及其特性 3、信道容量的概念及计算方法 4、离散无记忆扩展信道 5、串联信道 一、概述 信息论对信道研究的内容： 信道的建模：用恰当的输入/输出两个随机过程来描述 信道容量 不同条件下充分利用信道容量的各种办法 信道的作用 在信息系统中信道主要用于传输与存储信息，而在通信系统中则主要用于传输。 二、信道分类（1） (1) 根据输入、输出端用户的个数 单用户信道——输入、输端出均只有一个用户 多用户信道——输入、输出端至少有一端包含两个以上用户 (2) 根据输入、输出端的关联 无反馈信道——输出端无信号反馈到输入端 反馈信道 ——输出端的信号反馈到输入端 (3) 根据信道的参数与时间的关系 固定参数信道——参数不随时间变化而改变 时变参数信道——参数随时间变化而变化 二、信道分类（2） (4) 根据输入、输出随机变量的个数 单符号信道——输入、输出均用随机变量表示 多符号信道——输入、输出用随机矢量表示 (5)根据输入、输出随机信号特点 离散信道——输入、输出随机序列均离散取值 连续信道——输入、输出随机序列均连续取值 半离散(连续)信道——一为离散，另一为连续 三、离散信道的数学模型（1） 三、离散信道的数学模型（2） 信道可以引用三组变量来描述： 信道输入概率空间： 信道输出概率空间： 信道概率转移矩阵：P 即：{ ，P ， }， 它可简化为： 二、信道分类（续1） 根据条件概率 的不同，离散信道又分成： （1）无干扰（无噪）信道——输出信号与输入信号之间有确定的一一对应关系：y=f(x) 条件概率满足： 二、信道分类（续2） （2）有干扰无记忆信道 信道任一时刻输出符号只与当前时刻的输入符号有关，而与先前输入、输出符号、以后的输入符号均无关。 （3）有干扰有记忆信道 某一时刻的输出符号不仅与当前的输入符号有关，而且还与先前时刻的输入符号及输出符号有关。 四、单符号离散信道 （一）单符号离散信道的输入输出均用随机变量表示。 条件概率： 条件概率满足： 四、单符号离散信道 （二）二元对称信道（BSC） 输入符号和输出符号均取值与{0，1}， 二元对称信道 四、单符号离散信道 （三）二元删除信道（BEC） r=2，s=3，输入符号X取值{0，1}，输出符号Y取值{0，2，1} 传递矩阵： 四、单符号离散信道 四、单符号离散信道 重要概率关系： 复习：互信息量定义 互信息量表示先验的不确定性减去尚存在的不确定性，这就是收信者获得的信息量； 互信息量可能为正数、负数、0； 对于无干扰信道，I(xi;yj) = I(xi)； 对于全损信道，I(xi;yj) = 0； 平均互信息的物理含义 ① 观察者站在输出端 ② 观察者站在输入端 ③ 观察者站在通信系统总体立场上 ① 观察者站在输出端 I(X;Y)—收到Y前、后关于X的不确定性减少的量。从Y获得的关于X的平均信息量。 ② 观察者站在输入端 I(Y;X) —发出X前、后关于Y的不确定性减少的量。 ③ 观察者站在通信系统总体立场上 I(X;Y) —通信前、后整个系统不确定性减少量。在通信前把X和Y看成两个相互独立的随机变量，整个系统的先验不确定性为X和Y的熵之和H(X)+H(Y)；通信后把信道两端出现X和Y看成是由信道的传递统计特性联系起来的、具有一定统计关联关系的两个随机变量，这时整个系统的后验不确定性由H(XY)描述。 各类熵间关系——图形描述 两种极端情况的信道 无噪无损信道 全损信道 平均互信息量的性质 ① 对称性 ② 非负性 ③ 极值性 ④ 凸函数性 ⑤ 数据处理定理 ① 对称性 I(X;Y)= I(Y;X) 根据互信息量的对称性I(xi;yj)= I(yj;xi) 结论：由Y提取到的关于X的信息量与从X中提取到的关于Y的信息量是一样的。I(X;Y)和 I(Y;X)只是观察者的立足点不同。 ② 非负性 即 I(X;Y)≥0 当且仅当X和Y相互独立，即p(xiyj)= p(xi) p(yj) I(X;Y)=0 式中 结论： 从一个事件提取关于另一个事件的信息，最坏的情况是0。观察一个信道的输出，从平均的角度总能消除一些不确定性，获得一定的信息。 ③ 极值性 I(X;Y)≤H(X) I(Y;X)≤H(Y) 从一个事件提取关于另一个事件的信息量，至多是另一个事件的熵那么多，不会超过另一个事件自身所含的信息量。 ④ 凸函数性 平均互信息量I(X;Y)是输入信源概率分布p(xi)的上凸函数 平均互信息量I(X;Y)是输入转移