信息论与编码 第二章 信源熵r.ppt

* * 在定义域有限的条件下，以均匀分布的 连续信源的熵为最大。 平均功率为P，均值m受限，当信源输出信号概率密度函数为正态分布时，具有最大熵。 限平均功率的最大熵定理 2 * 当连续信源输出信号的均值为零，平均功率受限时，只有信源输出信号的幅度成高斯分布时，才会有最大熵值。 当峰值功率受限、平均功率受限，连续信源的统计特性分别与两种常见噪声——均匀噪声和高斯噪声的统计特性相一致时，信源具有最大连续熵。 因为噪声是一个最不确定的随机过程，而最大的信息量只能从最不确定的事件中获得。 均值受条件下的最大熵定理 连续信源输出非负信号的均值受限，指数分布的连续信源具有最大熵。 3 * 均值受限的连续信源，当呈指数分布时达到最大熵， 且其最大上仅决定于被限定的均值。 连续信源不存在绝对的最大熵。连续最大熵与信源的限制条件有关。在不同的限制条件下，有不同的最大连续熵。 §2.3.1 连续信源的熵 §2.3.3 连续信源熵的性质及 最大连续熵定理 §2.3.2 几种特殊连续信源的熵 §2.3.4 熵功率 信息变差：信源的剩余 没有达到最大熵的信源的冗余问题。 常见信源是均值为0，平均功率受限信源 信源限定平均功率减小时，最大熵随之减小。 随P而变 * 当概率密度函数是其他任何分布 时，其熵必小于最大熵 。 总能找到 ，有 不同于高斯分布，功率为P 高斯分布，功率为--P 高斯分布，功率为P 非高斯分布，功率为P 等于某高斯分布，功率为p 冗余度与传输效率 冗余度与传输可靠性 冗余度与英语学习 ? §2.1 单符号离散信源 §2.3 连续信源 §2.2 多符号离散信源 §2.4 离散信源无失真编码定理 连续信源的分类 连续信源 平稳信源 非平稳信源 统计特性与时间起点无关的连续信源（时间平移）。 输出消息在时间上和取值上都连续的信源。 遍历随机过程 集平均以概率1等于时间平均的平稳随机过程。 §2.3.1 连续信源的熵 §2.3.3 连续信源熵的性质及 最大连续熵定理 §2.3.2 几种特殊连续信源的熵 §2.3.4 熵功率 计算连续信源熵的两种方法： 将连续信源数字化，再用离散熵计算 先进行抽样，成为时间离散信号。再把抽样序列看作量化单位△趋于0时的情况，然后定义计算信源熵。 1 2 单符号随机变量x的一维概率密度函数（边缘 概率密度函数）： 单变量连续信源的数学模型为： 并满足 计算连续信源熵： 时间上离散化； 量化分层； 离散逼近连续变量。 * 假定概率密度为： 中值定理 则变量落在第i个小区间的概率为： 定 值 无限大 连续信源熵（相对熵）定义： 在形式上与离散信源熵统一，但在概念上与离散熵不同。 连续信源的熵有一项是无限大量，两项相加还是正值，且一般是无限大。可见HC(X)已不能代表信源的平均不确定度。 求均匀分布的连续信源熵 例 可能为负 连续熵不具备非负性 连续信源熵 相对熵 离散信源熵 绝对熵 定义连续信源熵的必要性： 一方面：与离散熵在形式上统一； 另一方面：熵之差问题。 其他连续熵的定义： §2.3.1 连续信源的熵 §2.3.3 连续信源熵的性质及 最大连续熵定理 §2.3.2 几种特殊连续信源的熵 §2.3.4 熵功率 均匀分布的连续信源的熵 1 一维随机变量X在【a，b】区间均匀分布时，熵为 若N维矢量X=(X1X1……XN)中各分量彼此独立， 且分别在 区域内均匀 分布，既有 矢量熵等于各单个随机 变量的熵之和 高斯分布的连续信源的熵 2 1/2 结论 高斯信源的熵仅与方差有关。 原因 指数分布的连续信源的熵 3 指数分布 只取决于均值 §2.3.1 连续信源的熵 §2.3.3 连续信源熵的性质及 最大连续熵定理 §2.3.2 几种特殊连续信源的熵 §2.3.4 熵功率 连续信源熵可为负值 连续信源熵的可加性 推广到N个变量的情况 1 2 连续信源的无条件熵和条件熵只差为连续信源熵的平均互信息 3 平均互信息量的非负性 平均互信息非负 * 既有 对称性： 数据处理定理： 若代表信源的N维随机变量取值被限定在一定范围内，在有限定义域内，均匀分布的连续信源有最大熵。 限峰值功率的最大熵定理 1 最大连续熵定理 4 离散信源等概分布时，信源熵取最大值。