信息论第五讲.pptVIP

这里的对数为以e为底，由约束方程可得：结论：对于瞬时功率受限的连续信源，在假定信源状态为独立时，当概率密度分布为常数时，信源具有最大熵。其最大熵为：第31页，讲稿共63页，2023年5月2日，星期三⑵输出平均功率受限时的最大熵推导：这时的约束条件为：可知：第32页，讲稿共63页，2023年5月2日，星期三由极值条件：可得：第33页，讲稿共63页，2023年5月2日，星期三将其代入约束条件,可得：得到：得到连续信源获得最大熵时的概率密度函数：第34页，讲稿共63页，2023年5月2日，星期三这是一个均值为0的高斯分布。其最大熵为：第35页，讲稿共63页，2023年5月2日，星期三如果平均功率为N=σ2;则有结论：（最大熵定理）对于输出平均功率受限的连续信源，在假设状态相互独立时，当其概率密度函数为高斯分布时，具有最大熵。其最大熵值随功率N的增加而增加。第36页，讲稿共63页，2023年5月2日，星期三3.2.2连续信源的熵功率①对于平均功率受限的连续信源，当信源为高斯分布时有最大熵，如果信源不是高斯分布，则信源熵将小于最大熵。熵功率则用来描述连续信源熵的剩余度。即说明信源是可以改造的程度。②一个平均功率为N的非高斯分布的连续信源的熵功率等于与其有同样熵的高斯信源的平均功率。③当非高斯连续信源与高斯信源具有相同熵时