[2018年最新整理]信息论第2章离散信源与信息熵.pptxVIP

第1章要求信息、消息与信号的概念通信系统模型信息论的基本任务第2章 离散信源与信息熵信息通信系统模型 离散信源的信息熵H是概率分布的严格上凸函数熵函数的性质：1.对称性2 非负性3 确定性4 扩展性5 可加性6 上凸性7 极值性8 信息熵不小于条件熵离散无记忆信源X = ( X1 X2 … XK )信源离散无记忆K次扩展信源XKX1 =X2= … =XK=X离散平稳信源 各维联合概率分布均与时间起点无关一维平稳信源 二维平稳信源平稳信源的条件概率与时间起点无关。平均符号熵离散平稳信源X有以下几点性质：（1） 随N的增加是非递增的；（2）（3） 随N的增加是非递增的；（4）若 ，则 存在。……对于一个离散平稳信源，若极限熵 则有：极限熵代表一般离散平稳有记忆信源平均每发一个符号提供的信息。马尔可夫信源 有限状态马尔可夫链{Xn}状态转移概率如果在马尔可夫链中，P(Xm+1=Sj|Xm=Si)= pij，即从状态i转移到状态j的概率与时刻m无关，齐次马尔可夫链。齐次马尔可夫链的初始分布为X0 ，转移矩阵为PX1 = X0 PX2 = X1 P = (X0 P) P = X0 P2切普曼-柯尔莫哥洛夫方程对于具有m+r步转移概率的齐次马尔可夫链，存在X3 = X0 P3若齐次马尔可夫链的n步转移概率对所有i,j存在不依赖于i的极限 则称齐次马尔可夫链具有遍历性，pj称为平稳分布。其中pi为该马尔可夫链的初始分布。且满足遍历性的直观意义是不论从哪一个状态出发，当转移步数足够大时，转移到状态Sj的概率都近似等于某个常数pj。若马尔可夫链的状态转移矩阵为P，稳态分布为W=(W1,…,Wr)，则（1）（2）WP=W（3）W是该链的唯一稳态分布。稳态分布存在定理 设P是齐次马尔可夫链转移矩阵，则该链稳态分布存在的充要条件是存在一个正整数N,使矩阵PN 中所有元素均大于零。马尔可夫信源 ①信源输出仅与当时的信源状态有关，而与以前的信源状态无关。 ②信源状态由当时输出符号与前一时刻信源状态唯一确定 当时间足够长时，齐次遍历的m阶马尔可夫信源 信源处于状态Sj 时的条件熵稳态分布信源的相关性和剩余度等概分布时信源熵最大，Hmax= H0 = logq 一个信源符号的熵 ? 相关长度越长，信源熵越小，趋于极限熵H? ? 相关长度越短，信源熵越大，趋于最大熵H0 剩余度