信息论第5章波形信源和波形信道benke1.pptVIP

05-06学年上 Elements of Information Theory * 平均功率受限条件下信源的最大熵（方差受限） 定理：若一个连续信源输出信号的平均功率被限定为P，则其输出信号幅度的概率密度分布是高斯分布时，信源具有最大熵。 其最大熵为： 05-06学年上 Elements of Information Theory * 对于N维连续平稳信源来说，若其输出的N维随即序列的协方差矩阵C被限定，则N维随即矢量为正态分布时信源的熵最大，也就是N维高斯信源的熵最大，其最大熵为： 05-06学年上 Elements of Information Theory * 若随机序列 中各分量的均值均为零，而平均功率受限为 ， 则得N维无记忆高斯信源的熵最大，其最大熵为： 05-06学年上 Elements of Information Theory * 均值受限条件下的最大连续熵定理（均值受限） 若连续信源X输出非负信号的均值受限，则其输出信号呈指数分布时，连续信源X具有最大熵值。 最大熵为： 其中常数a是一维连续信源X的均值 05-06学年上 Elements of Information Theory * 5.4熵功率 当信号平均功率受限时，高斯分布信源的熵最大。令其平均功率为P，则其熵为： 若另一信号Y的平均功率也为P，但不是高斯分布，那它的熵一定比上式计算的小，即： 05-06学年上 Elements of Information Theory * 熵功率：若平均功率为P的非高斯分布的信源具有熵为 ,称熵也为 的高斯信源的平均功率为熵功率 . 由于当平均功率受限时一般信源的熵小于高斯分布信源的熵，所以信号的熵功率总小于信号的实际平均功率P，即 05-06学年上 Elements of Information Theory * 连续信源的剩余度： 熵功率的大小可以表示连续信源剩余的大小。若熵功率等于信号平均功率，就表示信号没有剩余。熵功率和信号的平均功率相差越大，说明信号的剩余越大。所以，信号平均功率和熵功率之差被称为连续信源的剩余度。 连续信源的剩余度= 05-06学年上 Elements of Information Theory * 5.5 连续信源熵的变换 从信源发出的消息大都要通过一系列的信息处理后才在信道中传输。任何信息处理设备都可用下图所示来表示，可以认为这是一种坐标变换。 05-06学年上 Elements of Information Theory * 在离散信源中，若有确定的对应变换关系，变换后信源 熵是不变的。问：在连续信源中，输出的消息经过变换后，其熵（差熵）会不会发生改变？ 下面我们将讨论这个问题。从数学上讲，这可归纳为坐标变换的问题。 05-06学年上 Elements of Information Theory * 一维连续信源坐标变换以及相对熵变化的分析 05-06学年上 Elements of Information Theory * N维连续信源坐标变换 设连续平稳信源输出的是N维连续型随机矢量 ,将它送入信息处理网络，其输出为另一个N维随机矢量 Y和X之间的变换关系如下： 05-06学年上 Elements of Information Theory * 坐标变换后概率密度函数的变化 已知Y和X之间有一一对应关系 ,则X也可以表示位Y的单值连续函数。 05-06学年上 Elements of Information Theory * 引入雅可比行列式 定义： 证明可得 05-06学年上 Elements of Information Theory * 经分析可得坐标变化后新旧概率密度函数的关系为： 结论：除非雅可比行列式等于1，否则，在一般情况下，连续型随机变量通过变化后其概率密度函数会发生变化。 05-06学年上 Elements of Information Theory * 坐标变换后差熵的变化 经过计算可得变换后连续信源的差熵为： 结论：通过信息处理网络后连续信源的熵（差熵）发生了变化。它说明连续信源的差熵不具有变换的不变性。 05-06学年上 Elements of Information Theory * 书241页例6.1、例6.2 05-06学年上 Elements of Information Theory * 5.6 连续信道和波形信道的分类 5.6.1 按噪声统计特性分类 1、高斯信道 2、白噪声信道 3、高斯白噪声信道 4、有色噪声信道 5.6.2 按噪声对信号的作用功能分类 1、乘性信道 2、加性