信息论第3章 离散信源.ppt

第3章 离散信源;3.1信源的数学模型及其分类;信源的概念;信源输出的描述;3.1.1信源的数学模型;离散信源和连续信源;;;单符号信源：输出是单个符号（代码）的消息??? 离散信源??? 连续信源 ? 平稳随机序列信源：信源输出的消息由一系列符号序列所组成，可用N维随机矢量 X＝(X1,X2,…,XN)描述，且随机矢量X 的各维概率分布都与时间起点无关 平稳！！? 离散平稳信源? 连续平稳信源? 独立离散平稳信源? 有记忆信源? m阶马尔可夫信源 ;;;;;平稳随机序列信源 总体特点：信源输出的消息由一系列符号序列所组成，可用N维随机矢量 X＝(X1,X2,…,XN)描述，且随机矢量X 的各维概率分布都与时间起点无关 平稳！！离散平稳信源：每个随机变量Xi (i＝1,2,…,N)都是离散型随机变量连续平稳信源：每个随机变量Xi (i＝1,2,…,N) 都是取值连续的随机变?? ;;;; 随机波形信源在某一固定时间t0的可能取值是连续和随 机的。对于这种信源输出的消息，可用随机过程来描述。 例：语音信号X(t)、热噪声信号n(t)、电视图像信号X(r(t),g(t),b(t))等时间连续函数。 ;3.2离散无记忆信源;消息符号的自信息量;自信息量与熵;信源熵;;3.3离散无记忆信源的扩展信源;3.3.1最简单的离散信源;3.3.2 N次扩展信源;;;3.3.3 N次扩展信源的熵;;;;;;3.4离散平稳信源;3.4.1平稳信源;;二维平稳信源;;N维平稳信源;离散平稳信源;离散平稳有记忆信源;3.4.2平稳信源的熵－联合熵;二维平稳信源的熵－条件熵;平稳信源的熵－熵的可加性;二维平稳信源的熵－例题;;;3.4.3极限熵;N维平稳有记忆信源的熵;条件熵随N增加而递减;矢量熵H（X）;平均符号熵与极限熵;极限熵的意义;极限熵存在定理;定理证明;极限熵的计算;小结;3.5马尔可夫信源;;;;;;《和初始状态无关，不是时间起点（时齐性）》;;;;;;3.5.2 马尔可夫信源;;;;;;;;;;;;略.;;略.;略.;3.6信源的相关性与剩余度;关于剩余度:? 从提高信息传输效率的角度出发，总是希望减少剩余度（压缩）－》信源编码； 从提高信息抗干扰能力来看，总是希望增加或保留剩余度， －》信道编码;;略.;略.;略.;略.;小结