近代信息论-第一章-3.pptVIP

近代信息理论 第一章 -3 主要内容 连续熵 最大熵定理 最大熵方法 第六节 连续信源的熵 连续熵的定义：用离散变量逼近，寻找Xi, 逼近X 连续熵的定义 连续熵的定义 定义连续熵： 互信息 连续集X和Y之间的平均互信息定义为： 最大熵定理 连续信源:先看两种分布的熵 均匀分布 正态分布 限峰功率最大熵定理——均匀分布 限平均功率最大熵定理——正态分布 最大熵方法 P x 是均匀分布的情形 一维 多维（N维均匀分布的情形） P x 是正态分布的情形（高斯分布） 一维 P x 是正态分布的情形（高斯分布） N维高斯分布——pdf P x 是正态分布的情形（高斯分布） N维高斯分布——熵 P x 是正态分布的情形（高斯分布） N维高斯分布——熵 限峰值功率的最大熵定理 定理：若信源的输出峰值功率受限，输出为均匀分布时，达到熵最大。 证明： 限峰值功率的最大熵定理 定理：若信源的输出峰值功率受限，输出为均匀分布时，达到熵最大。 限平均功率的最大熵定理 限平均功率的最大熵定理 最大熵方法 问题的提出——病态问题（ill-posed 例1：图像恢复 例2：谱估计 最大熵原理 最大熵谱估计 最大熵方法——病态问题 图像恢复 最大熵方法——病态问题 谱估计 对于X t 满足约束条件（无限长，平方可积） 最大熵原理 自然界：任何隔离系统的熵不会减少，并自发地趋于最大。——热力学第二定律 马尔科夫链：随着n增大，熵增大，若稳态分布是均匀分布，系统趋于均匀分布。 最大熵原理 用最大熵进行数据处理的思路： 数据处理（求解） 最大熵谱估计 测量数据有限，不完备——估计问题： 最大熵谱估计 1960年，Burg提出： 外推数据不是补0，而是补一些数据，使得随机过程具有最大熵。 最大熵谱估计 最大熵谱估计 各种分布的熵，以高斯-马尔科夫过程分布的熵最大。 最大熵谱估计 最大熵方法的其他应用 图像恢复 图像重建（CT,MRI * * 中值定理： 以这样取得的离散值Xi,i 1,2,…,n，可逼近表示连续变量X a b 连续熵与信息熵有本质的区别； 连续熵不具备非负性； 连续熵不代表信息。 相关定义 联合熵： 条件熵： 性质：连续变量互信息的性质在许多方面与离散情形相似： 1 2 3 back recall 离散信源最大熵定理：当信源等概率分布时熵最大。 back 得证。 定理：信源输出的平均功率和均值被限定，则其输出信号的pdf是高斯分布时，信源达到最大熵。 证明： 定理：信源输出的平均功率和均值被限定，则其输出信号的pdf是高斯分布时，信源达到最大熵。 back 降质 f i,j 模糊d i,j 噪声w i,j g i,j ill-posed 数据不完备 有噪 ill-posed 可见 最大熵是自然界的必然选择， 可将最大熵作为一准则进行估计等数据处理。 ——最大熵原理 从现有数据中提取信息 信息来自 测量数据 合理的关于未知数据的假设 未知数据的假设 人为增加的信息 最大熵原理 人为增加的信息最少 对于有限观测点，可用周期图法： 估计相关函数： 问题在于对R f 的估计不准，关键原因是如何对外推数据进行估计。 只是简单地补0。 定理： 证明： 证明： 求谱