信息论和编码第2章-1.pptVIP

信源与信息熵;2.1 信源的描述和分类 2.2 离散信源熵和互信息 2.3 离散序列信源的熵 2.4 连续信源的熵和互信息 2.5 冗余度;本章重点;2.1 信源的描述和分类;信源;香农信息论的基本点; ;离散 信源;2.1.1 无记忆信源;发出单个符号的信源 指信源每次只发出一个符号代表一个消息； 发出符号序列的信源 指信源每次发出一组含二个以上符号的符号序列代表一个消息;信源的描述;离散信源的统计特性;信源的描述;信源的描述;信源的描述;一般情况下,信源在不同时刻发出的符号之间是相互依赖的，也就是信源输出的平稳随机序列X中，各随机变量Xl之间是有依赖的。 如在汉字序列中前后文字的出现是有依赖的，不能认为是彼此不相关的。 表述有记忆信源要比表述无记忆信源困难得多 离散有记忆信源 所发出的各个符号的概率是有关联的。 发出符号序列的有记忆信源 发出符号序列的马尔可夫信源;概率论基础;概率论基础;2.1.3 马尔可夫信源;马氏链的基本概念 ;马氏链的基本概念 ;马尔可夫信源;若信源处于某一状态si ,当它发出一个符号后,所处状态就变了,任何时候信源处于什么状态完全由前一时刻的状态和发出符号决定。 系统在任一时刻可处于状态空间S ={ s1,s2,…,sQ}中的任意一个状态,状态转移时,转移概率矩阵;例2-1，如图所示是一个相对码编码器,输入的码Xr(r=1,2,