连续信源和连续信道.pptVIP

2.3 连续信源 连续信源：输出消息在时间和取值上都连续的信源。如语音，电视信源。对应的数学工具为随机过程。 从统计特性上讲，连续随机过程大致可分为平稳（统计特性-各维概率密度函数不随时间平移而变化的随机过程）和非平稳随机过程两大类。 一般认为，通信系统中的信号都是平稳的随机过程，或分段平稳的随机过程。 最常见的平稳随机过程为遍历过程。 　　 上式定义的连续信源的熵并不是实际信源输出的绝对熵，连续信源的绝对熵应该再加上一项无限大的常数项。因为连续信源的可能取值有无限多个，若其取值是等概率分布的，那么，信源不确定性为无限大。当确知输出为某值后，所获得的信息量也将为无限大。可见，Hc(X)已不能代表信源的平均不确定性大小，也不能代表连续信源输出的信息量。 同理，可定义两个连续变量X，Y的联合熵和条件熵： 2.3.2 几种特殊连续信源的熵 1. 均匀分布的连续信源的熵，其大小仅与区域的边界有关。 2. 高斯分布的连续信源的熵：与数学期望无关，仅与方差有关 当信源的概率密度符合正态分布时，其相对熵仅与随机变量的方差 有关，而方差在物理含义上往往表示信号的交流功率,即 如果噪声是正态分布，则噪声熵最大，因此高斯白噪声获得最大噪声熵。 3.5 连续信道 例：设电视图像每帧由3×105个像素组成，每个像素由8个可辨别的亮度电平（等概出现)。又设每秒发送25帧图像，信噪比为 试求传输此图像信号所占用的最小带宽。 高斯加性连续信道的容量： 高斯加性连续信道：信道中的噪声 即： 信道的传递概率密度函数为 则高斯加性连续信道的信道容量为 一般说来，输入随机变量X的平均功率是有限的，假设限定为PX，而噪声的平均功率限定为PN=σ2，则输出随机变量Y的平均功率也是受限的，设假定为PY。 根据最大连续熵定理，要使Hc(Y) 最大，Y必须是一个均值为0，方差为 得高斯随机变量。 则现在的问题就变为：输入概率密度函数p(x)是什么样的函数时，才能使Y呈高斯分布。 因为高斯加性信道中，输入X和噪声N相互统计独立，且 Y=X+N，可以证明，当输入X是均值为0，方差为 的高斯随机变量，则输出Y的概率密度函数满足高斯分布 若 则 其中： 此时输出端的连续熵Hc(Y)达到最大值，即： 则高斯加性连续信道的信道容量为 式中 ： 为信道的信噪功率比。 如果我们对信道的输入信号进行采样，假设信道的频带限于（0，W）。根据采样定理，如果我们把信道的一次传输看成是一次采样，则信道每秒传输2W个样点，单位时间的信道容量为： 这就是著名的香农公式。 带宽一定时，信道容量随SNR的增加而单调增加，因此增大信号功率、减小信道噪声可以增加信道容量。 如果SNR固定，信道容量随着带宽的增加而增加。 * * 2.3.1连续信源熵 连续信源基本的数学模型为 其中 R是全实数集，是连续变量X的取值范围，p(x)为X的概率密度。 假设x∈［a，b］，令Δ=(b-a)/n，xi∈［a+(i-1)Δ，a+iΔ］，p(x)为连续变量X的概率密度函数，则利用中值定理X落在第i个小区间的概率是 根据离散信源熵的定义，则 当n→∞时，即Δ→0时，得： 定义连续信源熵: 连续信源的熵具有相对性，有时称为相对熵,在取两熵之间的差时才具有信息的所有特性. 例2.3.1有一信源概率密度如图所示，求连续熵 解: 由图(a)得 由图(b)得 一维均匀分布： 相对熵无非负性，可为负值 若： N维均匀分布：N维矢量（X1 X2 …XN）中各分量彼此统计独立，且分别在[a1，b1] [a2，b2] …[aN，bN] 的区域内均匀分布，即 连续随机矢量中各分量相互统计独立时，其矢量熵就等于各单个随机变量的熵之和，与离散信源情况类似。 设一维随机变量 X的取值范围是整个实数轴R，概率密度函数呈正态分布 与方差有关，与均值无关 当均值m=0，X的方差就是随机变量的平均功率 相对熵只与平均功率有关 3. 指数分布的连续信源的熵：只取决于均值 若一维随机变量X的取值空间是[0，∞］，其概率密度函数为 其中： 指数分布的相对熵只取决于信源的均值m 2.3.3 连续信源熵的性质及最大连续熵定理 1. 连续熵可为负值 2. 可加性 推广到N个变量： 3. 平均互信息的非负性 连续信道的平均互信息量和离散信道下平均互信息量的关系式完全类似，且保留了离散信道平均互信息量的所有含义和性质。可见，将差熵定义为连续信源的熵是有重要实际意义的。 4. 最