信息论基础第2章离散信源及其信息度量.pptxVIP

第2章离散信源及其信息度量

;本章内容;2.1离散信源的分类;离散信源的分类;离散信源的N次扩展信源：对信源输出的符号序列进行分组，每N个符号一组，只考虑组内各符号之间的关联性，而假定组与组之间是统计独立的；

马尔可夫信源：只考虑到信源发出的消息符号与前面有限个符号的依赖关系，不考虑与更前面发出符号的依赖关系，即用有限记忆源去近似实际信源。;2.2离散信源的统计特性;单符号离散信源概率空间描述;;;;2.3离散随机变量的信息度量

;一、自信息量I(xi)和信息熵H(X);;自信息量的性质：;;;信息熵的性质;联合自信息量I(xi,yj)和联合熵H(X,Y);物理意义;物理意义;条件自信息;条件熵;条件熵;条件熵;各种熵的关系;;;;;2.4离散信源的N次扩展信源;1、N次扩展信源的数学模型;2、离散信源的N次扩展信源的熵;问题;4、平均符号熵和极限熵的定义;离散无记忆信源的N次扩展信源的熵;2.5离散平稳信源;离散平稳信源;(m+1)维离散平稳信源;一维离散平稳信源和二维离散平稳信源;有限维离散平稳信源的条件熵;;二维离散平稳信源的平均符号熵;平稳离散信源的性质;有限维离散平稳信源的极限熵;计算极限熵的处理方法