近代信息论第一章.pptVIP

第一页，共二十七页，2022年，8月28日 主要内容 连续熵 最大熵定理 最大熵方法 第二页，共二十七页，2022年，8月28日 第六节 连续信源的熵 连续熵的定义：用离散变量逼近，寻找Xi, 逼近X 中值定理： 以这样取得的离散值Xi,i=1,2,…,n，可逼近表示连续变量X a b 第三页，共二十七页，2022年，8月28日 连续熵的定义 第四页，共二十七页，2022年，8月28日 定义连续熵： 连续熵的定义 连续熵与信息熵有本质的区别； 连续熵不具备非负性； 连续熵不代表信息。 相关定义 联合熵： 条件熵： 第五页，共二十七页，2022年，8月28日 互信息 连续集X和Y之间的平均互信息定义为： 性质：连续变量互信息的性质在许多方面与离散情形相似： 1 2 3 back 第六页，共二十七页，2022年，8月28日 最大熵定理 连续信源:先看两种分布的熵 均匀分布 正态分布 限峰功率最大熵定理——均匀分布 限平均功率最大熵定理——正态分布 最大熵方法 recall 离散信源最大熵定理：当信源等概率分布时熵最大。 第七页，共二十七页，2022年，8月28日 P(x)是均匀分布的情形 一维 多维（N维均匀分布的情形） 第八页，共二十七页，2022年，8月28日 P(x)是正态分布的情形（高斯分布） 一维 第九页，共二十七页，2022年，8月28日 N维高斯分布——pdf P(