第二章离散信源4.pptxVIP

离散信源及其信息测度;一、信源的数学模型及分类;概念：信源是一个随机出现的消息集合，因此用消息的概率空间来描述信源;例1：扔骰子;例2：音频信源;若信源输出的消息数是有限的或可数的，而且每次只输出符号集中的一个消息，这样的信源称为简单的离散信源。;例;若信源输出的是单个符号的消息，但是其可能出现的消息数是不可数的无限值，即输出消息的取值是连续的，这样的信源称为简单的连续信源。;;信源的数学模型及分类;1)离散无记忆信源;平稳信源： 随机矢量的各维概率密度都与时间起点无关;信息论与编码基础; 离散信源的信息熵; 离散信源的信息熵;说明：;例:;; 离散信源的信息熵;信息熵的物理含义; 离散信源的信息熵 ——联合熵和条件熵; 离散信源的信息熵 ——联合熵和条件熵; 离散信源的信息熵 ——联合熵和条件熵; 离散信源的信息熵 ——联合熵和条件熵; 离散信源的信息熵 ——联合熵和条件熵; 离散信源的信息熵 ——联合熵和条件熵; 离散信源的信息熵 ——联合熵和条件熵;熵的小结;信息论与编码基础;信息论与编码基础;熵的基本性质;;;;;;熵的基本性质;极值性;信息论与编码基础;思考题3;信息论与编码基础;信息论与编码基础;信息论与编码基础;信息论与编码基础;信息论与编码基础;信息论与编码基础;信息论与编码基础;信息论与编码基础;信息论与编码基础;信息论与编码基础;信息论与编码基础;各熵的关系;信