第4章：连续信号与连续信道容量.pptVIP

信息论与编码 西安工业大学电子信息工程学院 第四章 连续信源和连续信道容量 本章内容 连续信源 连续信道容量 4.1 连续信源 连续信源的统计特性 连续信源的熵 几种特殊连续信源的熵 1、连续信源的统计特性 连续信源，指输出消息在时间和取值上都连续的信源； 连续信源输出的消息是随机的，与随机过程相对应； 连续信源的统计特性---概率密度函数； 单变量连续信源的输出是取值连续的随机变量。可用变量的概率密度、变量间的条件概率密度和联合概率密度描述。 ① 一维概率密度函数 随机变量 X 的一维概率密度函数（边缘概率密度函数）为： ② 条件概率密度和联合概率密度函数 条件概率密度函数： 联合概率密度函数： 它们之间的关系为： 边缘概率密度函数满足： 2、 连续信源的熵 单变量连续信源数学模型： R 是连续变量 X 的取值范围。 先将连续信源在时间上离散化，再对连续变量进行量化分层，并用离散变量来逼近连续变量。量化间隔越小，离散变量与连续变量越接近，当量化间隔趋近于零时，离散变量就等于连续变量。 设 p(x) 如图所示。把连续随机变量 X 的取值分割成 n 个小区间，各小区间等宽，即：Δ=(b－a)/n。则变量落在第 i 个小区间的概率为： 其中 xi 是 a+(i－1)Δ 到 a+iΔ 之间的某一值。当 p(x) 是 X 的连续函数时，由中值定理可知，必存在一个 xi 值使上式成立。 这样连续变量 x 就可用取值为 xi(i=1,2,…,n) 的离散变量近似。连续信源被量化成离散信源。 上式右端的第一项一般是定值，而第二项在 Δ→0 时是一无限大量。丢掉后一项，定义连续信源的熵为： 上式定义的熵在形式上和离散信源相似，也满足离散熵的主要特性，如可加性，但在概念上与离散熵有差异因为它失去了离散熵的部分含义和性质。 连续信源的联合熵和条件熵 两个连续变量的联合熵： 两个连续变量的条件熵： 3、 几种特殊连续信源的熵 (1) 均匀分布的连续信源的熵 一维连续随机变量 X 在 [a,b] 区间内均匀分布时的熵为: Hc(X)=log2(b－a) 若 N 维矢量 X=(X1X2…XN) 中各分量彼此统计独立，且分别在 [a1,b1][a2,b2] …[aN,bN] 的区域内均匀分布，即： (2) 高斯分布的连续信源的熵 一维随机变量 X 的取值范围是整个实数轴 R，概率密度函数呈正态分布，即： x=-4:0.3:4; m1=1;n1=0.5; m2=2;n2=0.5; m3=1;n3=0.3; z1=(1/sqrt(2*pi*n1))*exp((-1/2)*(x-m1).^2/n1^2); z2=(1/sqrt(2*pi*n2))*exp((-1/2)*(x-m2).^2/n2^2); z3=(1/sqrt(2*pi*n3))*exp((-1/2)*(x-m3).^2/n3^2); subplot(3,1,1); plot(x,z1) subplot(3,1,2); plot(x,z2) subplot(3,1,3); plot(x,z3) 说明 高斯连续信源的熵与数学期望 m 无关，只与方差σ2 有关； 熵描述的是信源的整体特性，由图2.3.2看出，当均值 m 变化时，只是 p(x) 的对称中心在横轴上发生平移，曲线的形状没有任何变化，即数学期望 m 对高斯信源的总体特性没有任何影响； 若方差σ2 不同，曲线的形状随之改变，所以高斯连续信源的熵与方差有关而与数学期望无关。这是信源熵的总体特性的再度体现。 4.2 连续信道容量 连续信道的数学模型 连续信道容量---香农公式 举例 连续信道：输入输出随机变量都取值于连续集合的信道 两类情况 连续信道容量 可以证明 式中 S － 信号平均功率 （W）； N － 噪声功率（W）； B － 带宽（Hz）。 设噪声单边功率谱密度为n0，则N = n0B； 故上式可以改写成： 由上式可见，连续信道的容量Ct和信道带宽B、信号功率S及噪声功率谱密度n0三个因素有关。 当S ? ?，或n0 ? 0时，Ct ? ?。 但是，当B ? ?时，Ct将趋向何值？ 令：x = S / n0B，上式可以改写为： 利用关系式 上式变为 上式表明，当给定S / n0时，若带宽B趋于无穷大，信道容量不会趋于无限大，而只是S / n0的1.44倍。这是因为当带宽B增大时，噪声功率也随之增大。 Ct和带宽B的关系曲线： 上式还可以改写成如下形式： 式中 Eb －每比特能量； Tb = 1/B － 每比特持续时间。