第2章信源熵-多符号离散信源熵.pptVIP

4、熵率 信源各消息符号自信息量的数学期望为该信源的熵率，也叫平均符号熵，用HN(X1X2…XN)表示。 定义 表示 熵率的单位为比特/符号(bit/symbol) 。 例2 xi2 xi1 x1 x2 x3 x1 7/9 2/9 0 x2 1/8 3/4 1/8 x3 0 2/11 9/11 信源的平均符号熵 三、离散平稳无记忆信源及其熵 定义 多符号离散信源对任意两个不同时间起点k和l，其概率分布及直到N维的各维联合概率分布都相同，该信源为N维离散平稳信源。 1、离散平稳信源 取l=1，N维离散平稳信源 2、离散平稳信源的联合熵 3、离散平稳信源的熵率 极限熵定理 N→∞时， N维离散平稳信源平均符号熵的极限存在且等于N阶条件熵的极限值，称为N维离散平稳信源的极限熵，用H∞表示。* 极限熵存在的证明： 平均符号熵单调有界，极限熵存在 极限熵等于N阶条件熵极限值的证明： 固定N1条件下令N→∞ 再令N1→∞ 定义 N维离散平稳信源的符号序列中各符号相互独立，该信源为N维离散平稳无记忆信源。 4、离散平稳无记忆信源 表示 相当于单符号离散信源扩展N次，也称为N次扩展信源。 5、离散平稳无记忆信源的联合熵 例1 求二次扩展信源的联合熵 ①二次扩展信源 ②二次扩展信源的联合熵 6、离散平稳无记忆信源的熵率 例1 求二次扩展信源的熵率 二次扩展信源的熵率 习题：(P68-70) 习题2-3,2-4,2-6,2-13 信源熵 * 信息论导论 通信与信息工程学院 杨海芬 yanghf@uestc.edu.cn 单符号离散信源、自信息量、熵； 熵的严格上凸性 最大熵定理 习题 多符号离散信源、联合自信息量、联合熵； 条件自信息量、条件熵 离散平稳信源、联合熵 离散平稳无记忆信源、联合熵 信源熵第二讲 二、多符号离散信源及其熵 如果任何时刻信源发出的消息都是有限或可数的符号序列，而这些符号都取值于同一个有限或可数的集合，则该信源为多符号离散信源。* 1、多符号离散信源 定义 多符号离散信源发出的符号序列记为 序列中任一符号都取值于同一集合 表示 例1 2、联合自信息量 消息xi1xi2…xiN的概率P(xi1xi2…xiN)对数的负值为该消息的自信息量，也称联合自信息量，用I(xi1xi2…xiN) 表示。 定义 表示 称为条件自信息量 信息的链接准则 条件自信息量* 例1 x1 x2 x3 x1 7/9 2/9 0 x2 1/8 3/4 1/8 x3 0 2/11 9/11 xi2 xi1 求信源各消息的联合自信息量 ？Q1 x1 x2 x3 x1 7/9 2/9 0 x2 1/8 3/4 1/8 x3 0 2/11 9/11 xi2 xi1 求信源各消息的联合自信息量 例1 Q2： P(A|B) 等于 P(B|A)吗？ Q3：概率为0事件的信源熵。 不是概率越小信息量越大吗？ 条件概率谬论 数学家John Allen Paulos 《数学盲》 例子 若想分辨某些个体是否有重大疾病，以便早期治疗，我们可能会对一大群人进行检验。虽然其益处明显可见，但同时，检验行为有一个地方引起争议，就是有检出假阳性的结果的可能。这个问题的重要性，最适合用条件概率的观点来解释。 假设人群中有1%的人罹患此疾病， P(disease) = 1% = 0.01 P(well) = 99% = 0.99. 假设检验动作实施在未患病的人身上时，有1%的机率其结果为假阳性（阳性以positive表示） P(positive/well) = 1% P(negative/well) = 99%. 假设检验动作实施在患病的人身上时，有1%的机率其结果为假阴性（阴性以negative表示） P(negative/disease) = 1% P(positive/disease) = 99%。 求某人被测出为阳性时，实际上真的得了病的机率P(disease/positive) P(well negative)=p(well)* P(negative/well) =0.9801 P(diseasepositive)= 0.0099 P(wellpositive)=0.0099 P(diseasenegative)=0.0001 P(positive)=0.0099+ 0.0099=0.0198 P(disease/positive) = P(diseasepositive)/ p(positive)=0.5 比较P(positive|disease)=99% 被测定为阳性者，其中的半数实际上是假阳性。 某人被测出为阳性时，实际上真的得了病的机率 Q3：概率为0事件的信源熵。 不是概率越小信息量越大吗？ A3:熵的确定性，即 这个性质意味着从总体来