信息论连续信源.ppt

2.3.1 连续信源的信息熵 2.3.3 连续熵的性质 2.3.2 几种特殊连续信源的熵 2.3.4 最大熵和熵功率 2.3 连续信源 计算连续信源熵的两种方法： 将连续信源数字化，再用离散熵计算 先进行抽样，再把抽样序列看作量化单位△趋于0时的情况，然后定义计算信源熵。 1 2 2.3.1 连续信源的信息熵 单变量连续信源的数学模型为： 并满足 中值定理： 连续信源熵定义： 为了在形式上与离散信源熵统一 熵差仍然具有信息的特征 1 2 求均匀分布的连续信源熵 例 其他连续熵的定义： 连续信源熵 相对熵 离散信源熵 绝对熵 均匀分布的连续信源的熵 1 2.3.2 几种特殊连续信源的熵 高斯分布的连续信源的熵 2 结论 高斯信源的熵仅与方差有关。 原因 指数分布的连续信源的熵 3 连续信源熵可为负值 可加性 1 2 2.3.3 连续熵的性质 3 4 非负性 对称性 1.最大熵定理 幅度受限条件下的最大熵定理 1 峰值功率受限即信源输出信号的瞬时幅度受限，它等价于信源输出信号的幅度被限定在[a,b]区域内。在这种情况下，当信源输出信号的概率密度分布是均匀分布时，信源具有最大熵，其值为h(X)=log(b-a)。 2.3.4 最大熵和熵功率 平均功率受限条件下的最大熵定理 平均功率为P，均值m受限，当信源概率密度函数为正态分布时，具有最大熵。 2 当峰值功率受限、平均功率受限，连续信源的统计特性分别与两种常见噪声——均匀噪声和高斯噪声的统计特性相一致时，信源具有最大连续熵。 因为噪声是一个最不确定的随机过程，而最大的信息量只能从最不确定的事件中获得。 均值受限条件下的最大熵定理 连续信源输出非负信号的均值受限条件下，指数分布的连续信源具有最大熵。 3 连续信源不存在绝对的最大熵。连续最大熵与信源的限制条件有关。在不同的限制条件下，有不同的最大连续熵。 作业：2.27 2.27 一阶马尔可夫信源的状态图如下图所示。信源X的符号集为{0, 1, 2}。 (1) 求平稳后信源的概率分布； (2) 求信源的熵H∞。