第2章 节 信源熵-多符号离散信源熵 信息论 .pptVIP

4、熵率 信源各消息符号自信息量的数学期望为该信源的熵率，也叫平均符号熵，用HN(X1X2…XN)表示。 定义 表示 熵率的单位为比特/符号(bit/symbol) 。 例2 xi2 xi1 x1 x2 x3 x1 7/9 2/9 0 x2 1/8 3/4 1/8 x3 0 2/11 9/11 信源的平均符号熵 三、离散平稳无记忆信源及其熵 定义 多符号离散信源对任意两个不同时间起点k和l，其概率分布及直到N维的各维联合概率分布都相同，该信源为N维离散平稳信源。 1、离散平稳信源 取l=1，N维离散平稳信源 信源熵 2011年2月 信息论导论 通信与信息工程学院 杨海芬 yanghf@uestc.edu.cn 单符号离散信源、自信息量、熵； 熵的严格上凸性 最大熵定理 习题 多符号离散信源、联合自信息量、联合熵； 条件自信息量、条件熵 离散平稳信源、联合熵 离散平稳无记忆信源、联合熵 信源熵第二讲 二、多符号离散信源及其熵 如果任何时刻信源发出的消息都是有限或可数的符号序列，而这些符号都取值于同一个有限或可数的集合，则该信源为多符号离散信源。* 1、多符号离散信源 定义 多符号离散信源发出的符号序列记为 序列中任一符号都取值于同一集合 表示 例1 例1 x1 x2 x3 x1 7/9 2/9 0 x2 1/8 3/4 1/8 x3 0 2/11 9/11 xi2 xi1 求信源各消息的联合自信息量 ？Q1 x1 x2 x3 x1 7/9 2/9 0 x2 1/8 3/4 1/8 x3 0 2/11 9/11 xi2 xi1 求信源各消息的联合自信息量 例1 Q2： P(A|B) 等于 P(B|A)吗？ Q3：概率为0事件的信源熵。 不是概率越小信息量越大吗？ 条件概率谬论 数学家John Allen Paulos 《数学盲》 例子 若想分辨某些个体是否有重大疾病，以便早期治疗，我们可能会对一大群人进行检验。虽然其益处明显可见，但同时，检验行为有一个地方引起争议，就是有检出假阳性的结果的可能。这个问题的重要性，最适合用条件概率的观点来解释。 假设人群中有1%的人罹患此疾病， P(disease) = 1% = 0.01 P(well) = 99% = 0.99. 假设检验动作实施在未患病的人身上时，有1%的机率其结果为假阳性（阳性以positive表示） P(positive/well) = 1% P(negative/well) = 99%. 假设检验动作实施在患病的人身上时，有1%的机率其结果为假阴性（阴性以negative表示） P(negative/disease) = 1% P(positive/disease) = 99%。 求某人被测出为阳性时，实际上真的得了病的机率P(disease/positive) P(well negative)=p(well)* P(negative/well) =0.9801 P(diseasepositive)= 0.0099 P(wellpositive)=0.0099 P(diseasenegative)=0.0001 P(positive)=0.0099+ 0.0099=0.0198 P(disease/positive) = P(diseasepositive)/ p(positive)=0.5 比较P(positive|disease)=99% 被测定为阳性者，其中的半数实际上是假阳性。 某人被测出为阳性时，实际上真的得了病的机率 Q3：概率为0事件的信源熵。 不是概率越小信息量越大吗？ A3:熵的确定性，即 这个性质意味着从总体来看，信源虽然有不同的输出符号，但它只有一个符号几乎必然出现，而其它符号都是几乎不可能出现，那么，这个信源是一个确知信源，其熵等于零。 Q4：多符号离散信源的表达 信源各消息的联合自信息量 3、联合熵 信源各消息联合自信息量的数学期望为该信源的熵，也叫联合熵，用H(X1X2…XN)表示。 定义 表示 称为条件熵 熵的链接准则 条件熵*p16 条件熵为什么要用联合概率？ 条件熵小于无条件熵 （1） 条件熵小于信源熵，即 仅当X1，X2相互独立时，等号成立 （2）两个条件下的条件熵小于一个条件下的熵 （3）联合熵小于信源熵之和，即 仅当X1，X2相互独立时，等号成立，联合熵达到最大值。 熵的界 证明 证明 … 例1 xi2 xi1 x1 x2 x3 x1 7/9 2/9 0 x2 1/8 3/4 1/8 x3 0 2/11 9/11 求（X1,X2）信源的联合熵 信源的联合熵 * * 信源熵