信息科学第二章.pptVIP

第二章 离散信源及其信息测度 ;第一节 信源的数学模型及分类;第一节 信源的数学模型及分类;第一节 信源的数学模型及分类;第二节 离散信源的信息熵;第二节 离散信源的信息熵;第二节 离散信源的信息熵;第二节 离散信源的信息熵;第二节 离散信源的信息熵;例：天气预报，有两个信源 ;第三节 信息熵的基本性质;第三节 信息熵的基本性质;第三节 信息熵的基本性质;第三节 信息熵的基本性质;第三节 信息熵的基本性质;第四节 离散无记忆的扩展信源;第四节 离散无记忆的扩展信源;第四节 离散无记忆的扩展信源;例: 离散无记忆信源的N次扩展信源 离散无记忆信源为：X:{a1,a2,a3}; P(X):{1/4, 1/2, 1/4};第四节 离散无记忆的扩展信源;第五节 离散平稳信源;第五节 离散平稳信源;第五节 离散平稳信源;第五节 离散平稳信源;第五节 离散平稳信源;第五节 离散平稳信源;[例2-15] 设某二维离散信源的原始信源的信源空间 X={x1,x2,x3}; P(X)={1/4, 1/4, 1/2}, 一维条件概率为： p(x1/x1)=1/2; p(x2/x1)=1/2; p(x3/x1)=0; p(x1/x2)=1/8; p(x2/x2)=3/4; p(x3/x2)=1/8; p(x1/x3)=0; p(x2/x3)=1/4; p(x3/x3)=3/4; 原始信源的熵为： H(X)=1.5 bit/符号 条件熵： H(X2/X1)=1.4 bit/符号 可见： H(X2/X1)H(X) 二维信源的熵：H(X1,X2)=H(X1)+H(X2/X1)=2.9 bit/消息 每个信源符号提供的平均信息量为： H2(X1,X2)=H(X1,X2)/2=1.45 bit/符号。;第五节 离散平稳信源;第五节 离散平稳信源;第五节 离散平稳信源;第六节 马尔可夫信源;第六节 马尔可夫信源;第六节 马尔可夫信源;;;第六节 马尔可夫信源;举 例;将图中信源在ei状态下发符号xk 的条件概率p(xk /ei)用矩阵表示 由矩阵看出： 由图中看出： 由图中可得状态的一步转移概率： 该信源满足马尔可夫信源定义。;第六节 马尔可夫信源;第六节 马尔可夫信源;(3) 举 例;由二元信源X∈{0,1}得到的状态空间(e1,e2,e3,e4)和相应的一步转移概率构成的2阶马尔可夫信源模型为 求出稳定状态下的p(ej) ，称为状态极限概率。 将一步转移概率代入上式得 p(e1)=0.8 p(e1)+0.5 p(e3) p(e2)=0.2 p(e1)+0.5 p(e3) p(e3)=0.5 p(e2)+0.2 p(e4) p(e4)=0.5 p(e2)+0.8 p(e4);解方程组得 p(e1)= p(e4)=5/14 p(e2)= p(e3)=2/14 计算极限熵 ;第六节 马尔可夫信源;第六节 马尔可夫信源;第六节 马尔可夫信源;第六节 马尔可夫信源;第六节 马尔可夫信源;;第七节 信源剩余度与自然语言的熵;