信息论基础(下).ppt

信息熵代表信源发信的不确定度，连续信源取值无穷多，其信息熵无穷大是合理的。 求熵差时两个无穷大互相抵消，并不影响信息量的大小 定义连续信源的相对熵为： 当M→∞时 ?→0，求和就变成了积分: （2）从单个样本到序列的推广： 抽样定理指出，对于频率有限的连续信号，只要抽样频率不小于信号最高频率F的两倍，就能无失真地恢复原信号。 如果信号存在的时间为T，那么抽样信号就是一个具有N=2FT个样值的离散时间函数。 从信息角度看，它就是长度为N的随机变量序列。 如果各个样值彼此无关，则序列的信息熵等于： 如果各个样值相互关联（有记忆信源），则序列的信息熵： [例1]一维连续信号x(t)在[a,b]取间均匀分布，其概率密度函数为： 求相对熵和序列信息熵。 解： [例2]一维高斯分布的连续信号，其概率密度函数为： 求相对熵和序列信息熵。 解：因 利用 和 1、峰值功率受限条件下的信源最大熵： 峰值功率受限等价于信号幅度（即随机变量的取值）受限。 可以证明：若输出波幅度限定在[a, b]之内，则均匀分布的连续信源具有最大熵，熵值为hmax(X)=log (b-a)； 进而推知，当随机向量幅度受限时，只有各分量统计独立且均匀分布时，信源具有最大熵。 1.4.2 具有最大熵的连续信源 2、平均功率受限条件下的信源最大熵： 对均值为零的信号而言，平均功率受限等价于方差受限。 可以证明：当输出波方差为有限值时，正态分布的连续信源具有最大熵，熵值为； 均值为零时，方差σ2就等于平均功率P，所以这个最大熵又可写为： 3、熵功率： 高斯白噪声是均值为零、平均功率为n0/2的正态随机过程，它具有最大熵： 其它分布方式的连续信源，若平均功率相同，熵值必小于此值。 反之，其它分布形式的信源，若熵值等于h，则平均功率一定大于P0 ； 结论是：在相同熵值的条件下高斯信源应具有最小的平均功率。 P0是与该信源有相同熵值的高斯信源的平均功率，叫做熵功率。 1.4.3 波形信道的信道容量 1、波形信道的互信息： 原理： 把离散信道理论推广到波形信道，同样也经历两步过渡： 第一步，从单符号离散信道过渡到传输单个连续随机变量(单个抽样)的基本连续信道； 第二步，从传输单个连续随机变量的基本连续信道过渡到传输多个连续随机变量(抽样序列) 的多维连续信道；当维数趋于无穷时，多维连续信道就回到了波形信道。 对于基本连续信道，需要讨论输入和输出两个随机变量X与Y的问题。 仿照对连续信源信息熵的推广办法，不难推广得到连续信道的联合熵、条件熵、以及互信息： 联合熵： 噪声熵： 损失熵： 平均互信息： I(X;Y) = h(X) - h(X|Y) = h(Y)-h(Y|X)= h(X)+h(Y)- h(XY) 推广到多维连续信道时，输入、输出的随机变量X和Y过渡为随机向量X=(x1x2……xN)和Y=(y1y2……yN) 联合熵、条件熵以及互信息过渡为： 联合熵： 噪声熵： 损失熵： 平均互信息： 2、波形信道的信道容量： 先考虑传输单个随机变量的高斯加性信道。输入、输出信道的随机变量为X和Y，高斯信道指混入信道中的噪声的概率密度分布呈高斯型，加性信道指噪声n与输入变量X的关系是统计无关的相加关系：Y = X + n 因联合概率密度：p(xy)=p(xn)=p(x)p(n) 故信道传输概率：p(y|x)=p(xy)/p(x)=p(n) 互信息：I(X;Y)=h(Y)-h(Y|X)= h(Y)- h(n) 信道容量： C = max [h(Y)- h(n)] 实际通信系统中，大量存在的热噪声和环境噪声都具有高斯白噪声的特点，设它的平均功率为Pn，则； 另一方面，在平均功率为有限值时，h(Y)的最大值应出现在Y的均值为零且为高斯分布的的情况下， 于是,平均功率受限的高斯加性信道的信道容量为 习惯上，用发送端信号功率来写公式，由 得到：PY=PX+ Pn； 推广到多维无记忆高斯加性连续信道，当各抽样值(i=1,2, ……,N )方差都相同时 所以 1.4.4 香农公式及其意义 当抽样频率为2F时，注意N=2FT就有： C= FT log (1+ PX /Pn ) 香农公式，适用于高斯加性信道。但是它也可作为非高斯加性信道的信道容量上限值。 一般认为，最高频率就是带宽，取单位时间的最大净信息为信道容量，香农公式也常写为： C= B log(1+ PX /Pn ) 由公式可见，信道容量的大小与带宽B和信噪比PX /Pn 有关，它随着带宽的增大和信噪比的增大而变大。 但是因为噪声功率Pn =n0B，式中n0为噪声的