信息论导论--第2章信源熵续2.ppt

上一讲复习单符号离散信源、自信息量、熵；熵的严格上凸性最大熵定理习题多符号离散信源、联合自信息量、条件自信息量条件概率谬论数学家John Allen Paulos 《数学盲》例子若想分辨某些个体是否有重大疾病，以便早期治疗，我们可能会对一大群人进行检验。虽然其益处明显可见，但同时，检验行为有一个地方引起争议，就是有检出假阳性的结果的可能。这个问题的重要性，最适合用条件概率的观点来解释。假设人群中有1% 的人罹患此疾病，P(disease) = 1% = 0.01 P(well) = 99% = 0.99. 假设检验动作实施在未患病的人身上时，有1% 的机率其结果为假阳性（阳性以positive 表示）P(positive/well) = 1% P(negative/well) = 99%. 假设检验动作实施在患病的人身上时，有1% 的机率其结果为假阴性（阴性以negative 表示）P(negative/disease) = 1% P(positive/disease) = 99% 。P(well negative)=p(well)* P(negative/well) =0.9801 P(diseasepositive)= 0.0099 P(wellpositive)=0.0099 P(diseasenegative)=0.0001 P(positive)=0.0099+ 0.0099=0.0198 Q4 ：多符号离散信源的表达信源熵第三讲多符号离散信源联合熵；条件熵离散平稳信源、联合熵离散平稳无记忆信源、联合熵马尔科夫信源及其极限熵条件熵小于无条件熵（1）条件熵小于信源熵，即仅当X1 ，X2 相互独立时，等号成立（2）两个条件下的条件熵小于一个条件下的熵（3）联合熵小于信源熵之和，即仅当X1 ，X2 相互独立时，等号成立，联合熵达到最大值。信源的平均符号熵习题2-3 三、离散平稳无记忆信源及其熵定义多符号离散信源对任意两个不同时间起点k和l，其概率分布及直到N维的各维联合概率分布都相同，该信源为N维离散平稳信源。1、离散平稳信源取l=1 ，N维离散平稳信源2、离散平稳信源的联合熵3、离散平稳信源的熵率极限熵定理N→∞时，N 维离散平稳信源平均符号熵的极限存在且等于N阶条件熵的极限值，称为N维离散平稳信源的极限熵，用H∞表示。* 极限熵存在的证明：平均符号熵单调有界，极限熵存在极限熵等于N阶条件熵极限值的证明：固定N1 条件下令N→∞再令N1→∞定义N维离散平稳信源的符号序列中各符号相互独立，该信源为N维离散平稳无记忆信源。4、离散平稳无记忆信源表示相当于单符号离散信源扩展N次，也称为N次扩展信源。5、离散平稳无记忆信源的联合熵例1 求二次扩展信源的联合熵①二次扩展信源②二次扩展信源的联合熵6、离散平稳无记忆信源的熵率例1 求二次扩展信源的熵率二次扩展信源的熵率习题：(P68-70) 习题2-4,2-6,2-13 四、马尔科夫信源及其极限熵“基于马尔可夫链的我国城乡居民收入演进分析”安德雷·马尔可夫(Andrei Markov 1856 －1922 ），俄国数学家。1874 年马尔可夫入圣彼得堡大学，师从切比雪夫，1886 年当选为圣彼得堡科学院院士。开创了随机过程这个新的领域，以他的名字命名的马尔可夫链在现代工程、自然科学和社会科学各个领域都有很广泛的应用。马尔可夫性：一个过程的“将来”仅依赖“现在”而不依赖“过去”马尔可夫链的应用排队理论和统计学中的建模，还可作为信号模型用于熵编码技术，如算术编码著名的LZMA 数据压缩算法就使用了马尔可夫链与类似于算术编码的区间编码。生物学应用，人口过程，可以帮助模拟生物人口过程的建模。隐蔽马尔可夫模型还被用于生物信息学，用以编码区域或基因预测。马尔可夫链最近的应用是在地理统计学（geostatistics ）中,被称为是“马尔可夫链地理统计学”。仍在发展过程中。四、马尔科夫信源及其极限熵1、马尔科夫信源定义N维离散平稳信源符号序列中第N个符号只与前m (≤N-1) 个符号相关，该信源为m阶马尔科夫信源。马尔科夫信源是离散平稳有限记忆信源，其记忆长度为m 。m阶马尔科夫信源符号序列的长度N=m+1 。表示* 信源熵* 2010 年3月信息论导论通信与信息工程学院杨海芬？Q1 9/11 2/11 0 x3 1/8 3/4 1/8 x2 0 2/9 7/9 x1 x3 x2 x1 xi2 xi1 求信源各消息的联合自信息量例1 条件概率：就是事件A 在另外一个事件B 已经发生条件下的发生概率。条件概率表示为P(A|B) ，读作“在B 条件下A 的概率”。假设A 与B 是互斥事件，换句话说，如果B 已经发生，由于A 不能B 在同一场合下发生，那么A 发生的概率为零；同样，如果A 已经发生