信息论与编码第三章.ppt

 第三章 离散信道 §3.1 信道的数学模型和分类 离散信道：I/O的R、V的取值都是离散的信道； 连续信道：入/出R、V的取值都是连续的信道； 半散半续：λ、R、V离散出R、V连续或相反。 离散信道，必须确定其主要参数： 输入 ： 输出 ： 信道的传输作用 ： 1、主要参数表示法：单符号： 多符号： 2、信道矩阵表示法： 3、图示法： 离散信道分类： A、理想信道：输入输出一一对应， 且 B、有干扰无记忆信道 ： 或： C、有干扰有记忆信道 ： 例：二进制对称信道；二进制扩展信道。  一般离散信道的一些概率关系 1、输入符号ai, 输出符号bj的联合概率 前向概率 ： 后向（验）概率 2、输出符号bj的概率： 3、信宿收列符号bj后，推测输入符号ai的后验概率： 由贝叶斯定律 且： §3.2 信道疑义度及平均互信息 3.2.1交互信息量 信息流通的根本问题 :通信前后对信道输入ai不确定性消除的量。 1.站在信道的输出端观察 2.站在信道的输入端观察 3、站在通信系统的总体立场观察 通信前： 通信后： 单位也为：bit (2)； nat (e)； Hart (10) 3.2.2后验概率与交互信息量的关系 交互信息量＝log [后验概率∕先验概率] 1、 这时 ，为无噪信道。 2、 ，后验概率与先验概率的比值大于1， 3、 4、 ， 引伸一下，ai和bj统计独立时 ： 且 说明ai和bj之间的约束程度不同，交互信息量也各不相同，所以，即是ai和bj之间交互信息量的测试，也是ai和bj之间统计约束程度的一个体现者。 3.2.3 自信息量两种含意 1、 自信息量可被理解为要完全消除对 不确定性，唯一确定 所必须获取的最大信息量。 2 、 自信息量可理解为符号bj所能提供的最大信息量。 由信息函数确定的自信息量I（x），就是要唯一确定随机事件（符号）x所必须的最大信息量，或者说是随机事件x所能提供的最大信息量。 1、取 , 因为无失真信源编码的一一对应性，所以可认为有 收到就意味着确切无误地收到消息a4，完全消除了a4的不确定度，这时码字bj＝011和消息a4之间的交互信息量，就是消息a4的自信息量，（ 是确定a4所必须的最大信息量）。 2、仍取但取bj为码字“011”中的第一个码符号“0”，因为这时有 ，发消息a4就意味着确切无误地出现bj＝”0”，这时，从a4中获取关于第一个码符号“0”的信息量就是“0”的自信息量。 bit  ，I（0）可理解为第一个码符号“0”对a4所能提供的最大信息量。  从以上讨论可知，自信息量只不过是交互信息量在后验概率 （或 这一特定情况下的特例，为此，在这里我们要提请注意，交互信息理论才体现出信息理论关于信息测度的完整观点。 3.2.4 平均交互信息量 3.2.5 平均交互信息量的物理意义 信道疑义度 （损失熵）： 噪声熵： 联合熵（共熵）： H（x y） 1、 表示收到y前、后关于x的不确定性的消除的量。 2、 表示发x前、后，关于y的不确定性的消除的量。 平均交互信息量就是通信前、后平均不确定度的消除的量。 §3.3 平均互信息的特性 1、非负性 ： 2、极值性： 3、对称性： 4、与各类熵的关系： 5、平均互信息的凸函数性 定理3.1 平均互信息 是输入信源概率分布 的∩型凸函数。 证明：固定信道，即信道的传递概率 是固定的平均互信息 将只是 的函数，简写成 选