第三章 信道模型和信道容量.pptVIP

平均互信息量－计算第三种方法：求输出信号的熵，要求s个输出概率结论：第三种方法计算量更小一些第61页，共106页，星期日，2025年，2月5日平均互信息量－例题设信源，通过一干扰信道接收符号为，信道传输矩阵为，求第62页，共106页，星期日，2025年，2月5日平均互信息量第63页，共106页，星期日，2025年，2月5日平均互信息量－课堂作业设信源X的符号集{0,1,2}，其概率分布为Px(0)=1/4,Px(1)=1/4,Px(2)=1/2.通过一信道，其信道线图为：第64页，共106页，星期日，2025年，2月5日平均互信息量－性质第65页，共106页，星期日，2025年，2月5日平均互信息量－性质数学证明如下：第66页，共106页，星期日，2025年，2月5日平均互信息量－性质凸状性：第67页，共106页，星期日，2025年，2月5日平均互信息量－性质凸状性：定理1：当信道给定(即P(Y|X)给定),平均互信息量I(X;Y)是输入信号先验概率分布P(X)的上凸函数。定理2：当信源给定(即P(X)给定),平均互信息量I(X;Y)是信道传递概率分布P(Y|X)的下凸函数。第68页，共106页，星期日，2025年，2月5日平均互信息量－性质这两个定理非常重要，是研究信道容量，率失真信源编码的理论基础。在信道容量的研究中，信道是固定的，平均互信息是输入信号概率分布 的函数，总存在最佳的概率分布，使平均互信息达到最大值，这个最大值就是信道容量第69页，共106页，星期日，2025年，2月5日平均互信息量－性质在率失真信源编码的研究中，把编码过程看作信道，输入的信号是固定的，平均互信息只是传递概率分布的函数，这时在满足失真度的情况下，要压缩的更多，就是要平均互信息尽量小第70页，共106页，星期日，2025年，2月5日信道容量的定义研究信道的目的就是研究信道所能够传输的最大信息量，即信道容量定义平均互信息量，即信道的信息率：定义信息传输速率：(单位：bit/s)第71页，共106页，星期日，2025年，2月5日信道容量的定义根据定理一：对于特定信道，是输入信号的概率分布的上凸型凸函数，存在一种输入信号的概率分布，使 最大。定义最大的信息传输率或信息传输速率为信道容量相应的输入概率分布称为最佳输入分布第72页，共106页，星期日，2025年，2月5日信道容量的计算求信道容量是本章的重点从数学的角度上分析，求信道容量是对一个特定的信道，调整输入信号的概率分布，求的最大值的问题对于一般的信道，信道容量的计算非常复杂，我们仅研究一些特殊的信道容量第73页，共106页，星期日，2025年，2月5日离散无噪确定信道的信道容量信道中没有干扰，输入符号和输出符号之间有一一对应的函数关系第74页，共106页，星期日，2025年，2月5日离散无噪确定信道的信道容量离散无噪确定信道的信道容量的最佳输入分布是等概分布。第75页，共106页，星期日，2025年，2月5日相关概率－例题设信源，通过一干扰信道接收符号为，信道传输矩阵为，求各种概率分布第29页，共106页，星期日，2025年，2月5日１)联合概率2)输出概率第30页，共106页，星期日，2025年，2月5日2)输出概率(或者)3)后向概率第31页，共106页，星期日，2025年，2月5日离散单符号信道举例二元对称信道（BSC）输入、输出的取值都为0、1，定义错误概率p，传递概率为：第32页，共106页，星期日，2025年，2月5日离散单符号信道举例信道矩阵信道线图第33页，共106页，星期日，2025年，2月5日离散单符号信道举例二元删除信道（BEC）输入的取值有2个为0、1，输出的取值有3个为0、1、2(或者?)，定义正确概率p第34页，共106页，星期日，2025年，2月5日离散单符号信道举例二元删除信道（BEC）BEC在实际应用中也经常用到，如正负方波的传输，正负方波分别表示0和1由于码间串扰，输出端可能是第35页，共106页，星期日，2025年，2月5日离散单符号信道举例