信息论-第2章单符号离散信道.pptVIP

第 2 章 单符号离散信道 内容提要 2.1 信道的数学模型及其分类 2.2 信道的交互信息量 2.3 条件交互信息量 2.4 平均交互信息量 2.5 平均交互信息量的性质 2.6 信道容量及其一般算法 2.7 几种无噪信道的信道容量 2.8 几种对称信道的信道容量 2.1 信道的数学模型及分类 一、信道的数学模型 信道是信息传输的媒质或通道。 输入事件的概率空间以[X P]表示 输出事件的概率空间以[Y P]表示 其数学模型如下: 2.1 信道的数学模型及分类 二、信道的分类 1. 根据输入、输出事件的时间特性和输入、输出集合的特点 幅度 时间 离散信道 离散 离散 连续信道 连续 离散 波形信道 连续 连续 2.1 信道的数学模型及分类 2. 根据信道的输入和输出的个数分为 两端信道（两用户信道） 只有一个输入端和一个输出端的单向通信的信道 多端信道（多用户信道） 信道的输入和输出中至少有一个具有两个或两个以上的事件集，即三个或更多的用户之间相互通信的情况。 2.1 信道的数学模型及分类 3.根据信道的统计特性分为 恒参信道 信道的统计特性不随时间变化。 随参信道 信道的统计特性随时间变化。 2.1 信道的数学模型及分类 4.根据信道的记忆特性分为 无记忆信道 信道输出集Y仅与当前输入集X有关，而与过去集X无关。如果考虑输入、输出事件集合的特点，则又可分为离散无记忆信道和连续无记忆信道 有记忆信道 信道输出集Y不仅与当前输入集X有关，且与前面的输入集X有关。如果信道的输出集Y只与前面有限时间段上的输入有关时就称为有限记忆信道。有限记忆信道具有马尔可夫特性。 2.1 信道的数学模型及分类 5. 按输入/输出信号之间的统计依赖关系划分 有噪声信道 无噪声信道 2.1 信道的数学模型及其分类 三、单符号离散信道 定义：假设信道输入随机变量为X，其取值为x， ；输出随机变量为Y，取值为y， 。信道传递概率为 2.1 信道的数学模型及其分类 信道传递概率可以用传递概率矩阵表示，称为信道矩阵P。 2.1 信道的数学模型及其分类 例 2.1.1 二元对称信道（BSC：Binary Symmetric Channel） 给定一个离散信道如图。输入符号集和输出符号集分别为A={0，1}和B ={0，1}，并且传递概率为 2.1 信道的数学模型及其分类 常用概率公式 ①先验概率 ② 联合概率 且有 2.1 信道的数学模型及其分类 ③前向概率（即信道传递概率） ④后向概率（又称后验概率） 后向概率 是指信道输出端接收到符号为bj的条件下，信道输入端为符号ai的概率。应用贝叶斯公式可以从先验概率和信道传递概率求得输出符号概率 2.1 信道的数学模型及其分类 ⑤输出符号概率 应用全概率公式可以从先验概率和信道传递概率求得输出符号概率 或用矩阵形式表示 其中，P为信道矩阵 2.2 信道的交互信息量 一、互信息量定义　 对两个离散随机事件集X和Y，事件yj的出现给出关于事件xi的信息量，其定义式为 物理意义： 互信息量是一种消除的不确定性的度量。 互信息量=先验的不确定性-尚存在的不确定性。 二、互信息量的性质 （1）互信息量的互易性 由事件yj提供的有关事件xi的信息量等于由事件xi提供的有关事件yj的信息量。 注：正向、反向信道是同一信道的两种表述。 二、互信息量的性质（续） （2）互信息量可为零 当事件xi, yj 彼此统计独立， I(xi ; yj)= 0。 表明：当事件xi 同 yj相互独立时，不能通过对事件yj的观测获得关于另一事件xi的任何信息。 二、互信息量的性质（续） （3）互信息量I(xi ; yj) 可正可负 在给定观测数据yj的条件下，事件xi出现的概率p(xi|yj), 称为后验概率。 当后验概率大于先验概率，即p(xi|yj) p(xi)时，互信息量为正值