第6章 单维连续信源与信道.ppt

第6章 单维连续信源与信道;1、假设信源与信宿分别用连续随机变量X 和Y表示，其联合概率密度分布(PDF)为fXY(x,y)，其边缘分布分别为fX(x) 和fY(y);将区间[a,b] 划分成r个相等的小区间，每个小区间的大小为 ;则相应的离散信源为：;离散化信源的熵;连续信源的熵;3、接收信号Y的相对熵;将区间 [a’,b’] 划分成s个相等的小区间，则各小区间的大小为 ;相应的离散随机变量为;离散随机变量的熵;连续随机变量Y的熵;4、条件相对熵;2) 转移概率密度函数的离散化;二重中值定理;3) 条件熵;条件相对熵;4、平均交互信息量;所以有;P292 T5例：设有随机变量，其概率密度函数为;2) ;;P292 T6例：设有随机变量，其概率密度函数为;2) ;;P292 T7例：给定两随机变量X1和X2，其联合概率密度函数为;1;2) ;P292 T12例：设某连续信道，其传递特性为：;;;;;P292 T4 T6 T7;1、均匀分布随机变量的熵;2： 高斯分布随机变量的相对熵;如果m=0，有;第二节 几种连续信源的相对熵;3： 指数分布随机变量的相对熵;1、设单维连续信源X的信源空间为：;构造离散信源为：;现设有另外一个概率密度函数q(x)，在区间[a,b]内连续，且;构造另外一个离散随机变量为;第3节 相对熵的极值性;说明相对熵具有极大值;证明 f( )的上凸性;证明;即：r(x)可以看作连续信源X的概率密度函数;第4节 相对熵的上凸性;约束条件： 一般来说，连续信源X受到的约束条件有如下几种：;第5节 最大相对熵定理;第5节 最大相对熵定理;3) 最大相对熵;4) 结论;2、匹配连续信源的性质;则必有：;性质2：;说明：性质2可以用来验证某概率密度函数是否为具体约束条件下的匹配信源;3、峰值受限信源的最大相对熵定理;证明下面的等式即可;2) 证明：;4、均值受限信源的最大相对熵定理;1) 分析;2) 证明：;第5节 最大相对熵定理;5、平均功率受限信源的最大相对熵定理;1) 分析;证明下面的等式即可;2) 证明：;第5节 最大相对熵定理;作业：;p(y/x);3、模型的数学表述;第9节 数据处理定理;第9节 数据处理定理;第9节 数据处理定理;第9节 数据处理定理;第9节 数据处理定理;第9节 数据处理定理;第9节 数据处理定理;即当(XYZ)为马氏链时(ZYX)也是马氏链。即;同理：;第9节 数据处理定理;第11节 连续信道平均互信量的极值性和上凸性;3、平均互信量的最小值;4)、关系;第11节 连续信道平均互信量的极值性和上凸性;下面将对此进行证明;输出随机变量Y1的概率密度函数;则平均互信量为;输出随机变量Y2的概率密度函数;后验概率函数;3)、在给定信道(p(y/x))，接另一个在[a,b]区间分布且概率密度函数为p3(x)= ?p1(x)+?p2(x)( 其中?+?=1)的信源，则有：;满足;4)、证明;第11节 连续信道平均互信量的极值性和上凸性;第11节 连续信道平均互信量的极值性和上凸性;第11节 连续信道平均互信量的极值性和上凸性;平均互信量I( )为p(x)的?型凸函数,具有最大值。而信道容量等于互信量的最大值，因此连续信道容量存在。;第12节 高斯加性信道的容量;第12节 高斯加性信道的容量;第12节 高斯加性信道的容量;4）信号的带宽与信道的带宽;PN(f);模拟信源;模拟信源;3)、说明 信道噪声服从高斯分布，在这里为高斯白噪声，即直流分量(或数学期望，平均值)为0。 信源模型为随机过程，根据奈奎斯特定理，如果抽样频率为信号最高频率的2倍，则可无失真地还原原始模拟信号。 设信道带宽为W，则在接收端接收到的信号的最高频率为W，故对接收信号只需进行2W频率抽样即可。;4) 信道模型的数学表述;???12节 高斯加性信道的容量;第12节 高斯加性信道的容量;6) 反向疑义度(噪声熵)和平均互信量;7) 高斯随机变量的相对熵;第12节 高斯加性信道的容量;第12节 高斯加性信道的容量;1) 高斯的反向疑义度(噪声熵);第12节 高斯加性信道的容量;2）高斯信道的信道容量;（2）接收随机信号Y的最大相对熵;（3）信道容量;（4）讨论：若抽样频率为2W,则信道容量为;例：若已知高斯白噪声信道的带宽为1MHz，系统的信噪比为1000，则该信道每秒钟最多传输多少比特信息量？;例：P293 T14;作业