第4章波形信源和波形信道(ok)重点.ppt

第4章 波形信源和波形信道 4.1 连续信源及波形信源的信息测度 4.2 连续信源熵的性质及最大熵定理 4.3 连续信道和波形信道的信道容量 4.1 连续信源及波形信源的信息测度 实际某些信源的输出常常是时间和取值都是连续的消息。 例如语音信号、电视信号。这样的信源称为随机波形信源。 1、基本概念 模拟信源：信源的输出是时间和取值都连续的消息。即输出的消息不仅在时间上，而且在幅度取值上都是连续变化的波形信号。也称为随机波形信源。 连续平稳信源：若信源输出用平稳的连续型随机序列来描述，则称信源为连续平稳信源。 连续信源：用连续型随机变量描述输出消息的信源称为连续信源。 2、连续信源熵 基本连续信源的输出是取值连续的单个随机变量， 可用变量的概率密度函数 来描述。此时，连续信源 的数学模型为： 其中，R是全实数集，是变量X的取值范围。 4.1 连续信源及波形信源的信息测度 一般情况下，上式的第一项是定值，而当 时，第二项是趋于无限大的常数。所以避开第二项，定义连续信源的熵为： 连续信源熵： 4.1 连续信源及波形信源的信息测度 称为差熵 由上式可知，所定义的连续信源的熵并不是 实际信源输出的绝对熵，连续信源的绝对熵应该 还要加上一项无限大的常数项。 这一点可以这样理解：因为连续信源的可能取值数是 无限多个，若设取值是等概分布，那么信源的不确定 性为无限大。当确知信源输出为某值后，所获得的信 息量也将为无限大。 4.1 连续信源及波形信源的信息测度 同理，可以定义两个连续变量X、Y的联合差熵和条件差熵，即 4.1 连续信源及波形信源的信息测度 它们之间也有与离散信源一样的相互关系，并且可以得到有信息特征的互信息： 这样定义的熵虽然形式上和离散信源的熵相似，但在概念上不能把它作为信息熵来理解。连续信源的差熵值具有熵的部分含义和性质，而丧失了某些重要的特性。 4.1 连续信源及波形信源的信息测度 3、各种差熵之间的关系 (1)h(X2)≥h(x2|x1) (2)h(X1X2)=h(X2X1)=h(X1)+h(X2|x1)=h(X2)+h(X1|x2) (3)h(X)=h(X1X2…XN)= h(X1)+h(X2|x1)+h(XN|X1X2……XN) (4)h(X)≤ 4.1 连续信源及波形信源的信息测度 1、差熵的性质 （1）可加性 任意两个相互关联的连续信源X和Y，有 h(XY)=h(X)+h(Y|X)=h(Y)+h(X|Y) （2）上凸性 差熵h(X)是概率密度函数的上凸函数。即对任意概率密度函数p1(x)和p2(x)，及任意0＜θ＜1有： h[θp1(x) +(1-θ) p2(x)] ≥θh(p1(x)) +(1-θ)h(p2(x)) （3）差熵可为负值，不存在非负性。 4.2 连续信源熵的性质及最大熵定理 （4）极值性 连续信源的差熵存在极大值，但与离散信源不同的是，其在不同的限制条件下，信源的最大熵是不同的。 （5）变换性 连续信源输出的随机变量（或随机矢量）通过确定的一一对应变换，其差熵发生变化。但对于离散信源来说，其信息熵是不变的。 4.2 连续信源熵的性质及最大熵定理 2、最大熵定理（具有最大差熵的连续信源） 求连续信源的差熵的最大值，一般是在特定约束条件下的值，常用的有两种情况： （1）峰值功率受限条件下信源的最大熵 定理：若信源输出的幅度被限定在[a,b]区域内， 则当输出信号的概率密度是均匀分布时，信源具有 最大熵。其值等于log(b-a)。 4.2 连续信源熵的性质及最大熵定理 （2）平均功率受限条件下信源的最大熵 定理：若一个连续信源输出符号的平均功率被 限定为P（这里是指的交流功率，即方差 ）， 则其输出信号幅度的概率密度分布是高斯分布时， 信源有最大的熵，其值为 。 4.2 连续信源熵的性质及最大熵定理 4.3连续信道和波形信道的信道容量 1、基本概念 连续信道：信道输入/输出都是取值连续的随机变量。 波形信道：信道的输入和输出都是随机模拟信号时，称此信道为波形信道，又称模拟信道。 高斯白噪声：瞬时值的概率密度函数服从高斯分布而功率谱密度又是均匀分布的噪声。 高斯白噪声信道：若信道中的噪声{n(t)}是高斯分布的白噪声。 加性信道：信道中噪声对信号的干扰作用表现为与信号相加的形式，则此信道为加性信道。 2.高斯加性波形信道的信道容量 1、限带高斯白噪声加性波形信道 信道的输入和输出信号是随机