离散平稳有记忆信源的熵率求法.pptVIP

第三章 信源及信源熵 主要学习内容 一、信源的分类及其数学模型 二、离散单符号信源、离散多符号信源的概念 及其信源熵 三、离散平稳无记忆信源、离散平稳有记忆信 源的概念及其信源熵 四、马尔科夫信源及其信源熵 五、信源的相关性、利用率和剩余度 1、离散平稳无记忆信源的概念及其信源熵 离散平稳无记忆信源：输出的符号序列是平稳随机序列，并且符号之间是无关的，即统计独立的信源。数学模型为： 离散单符号信源的 N 次平稳无记忆扩展信源（ N 次无记忆扩展信源） 它是一种N 次扩展信源，其每次输出的是 N 长符号序列，数学模型为 N 维离散随机变量序列（随机矢量） 其中每个随机变量之间统计独立。由平稳性知，每个随机变量统计特性相同，故该信源又可表示为： N 次无记忆扩展信源的熵 根据统计独立的多维随机变量的联合熵与信息熵之间的关系，可得 N 次无记扩展信源的熵为： 平均符号熵为： 离散平稳无记忆信源的熵率 离散平稳无记忆信源 可以看作是离散单符号信源的 N 次平稳无记忆扩展信源，当N →∞时的情况。所以： 即离散平稳无记忆信源的熵率等于单符号信源的信源熵。 例3.2 注意：题目中的概率空间不是离散多符号无记忆信源的概率空间，而是其对应的离散单符号信源的概率空间。 该例题是对离散平稳无记忆信源求熵率的一个练习， 设有一离散平稳无记忆信源X，构成该信源的离散单符号信源 X 的概率空间为 求（1）信源X的熵率；（2）离散单符号信源X 的二次扩展信源的概率空间、熵、平均符号熵。 解： （1）离散单符号信源熵 比特/符号 熵率： （2）二次扩展信源的概率空间： （2） 二次扩展信源的平均符号熵： 二次扩展信源的熵： 2、离散平稳有记忆信源的概念及其信源熵 离散平稳有记忆信源：输出的符号序列是平稳随机序列，并且符号之间是相关的，即不是统计独立的信源。数学模型为： 离散平稳有记忆信源的另一种理解 它可以看作是离散单符号信源的 N 次平稳有记忆扩展信源，当N →∞时的情况。 离散平稳有记忆信源的熵率 求法：可看作是 N 次有记忆扩展信源的平均符号熵，当N→∞时的结果，故有： 但此时，因为有记忆，所以每个随机变量之间存在统计依赖关系，N 较大时，联合熵不容易求。 借助“熵函数的链规则”求联合熵 如下所示： 将求联合熵的问题转化为求 X1的熵和各阶条件熵之和，但 N 较大时，仍然不太现实。 定理3.1 课本中第31页上边 该定理给出了在离散平稳信源中， 1）条件熵的性质：递减性； 2）平均符号熵的性质：递减性； 3）条件熵与平均符号熵的关系：条件熵小于等于平均符号熵； 4）求熵率（极限熵）的另一个方法：通过求条件熵的极限也可以得到。 存在的问题 当 N 较大时，求条件熵也不容易 实际中，往往用 N 不太大时的平均符号熵或条件熵来作为熵率的近似值。 例3.3 信源X的信源模型为 输出符号序列中，只有前后两个符号之间有记忆，条件概率空间见右边的表。求熵率并比较 H(X) 、H(X2|X1) 、 H(X1X2) /2。 条件概率 分析 概率空间为对应的离散单符号信源的概率空间 据平稳信源的性质，只有前后两个符号有记忆意味着： 解： 1) 比特/符号 2) 如果不考虑符号间的相关性，则信源熵为 比特/符号 3) 如果把信源发出的符号看成是分组发出的，每两个符号为一组，这个新信源的熵为 比特/两个符号 解（续） 结论 如何从理论上解释这个结果？ 故有 所以 解释 H（X）：没有考虑符号间的相关性； H（X1X2）：考虑了两个时刻发出的符号之间的相关性； H（X2/X1）=H∞：不仅考虑了两个时刻发出的符号之间的相关性，还考虑了与该两个时刻相邻时刻发出符号间的相关性。 所以有上述关系。 总结 1、离散平稳无记忆信源的概念及其信源熵 2、离散平稳有记忆信源的概念及其信源熵