复旦周小林信息论2.信源与信息熵.ppt

* 普通高等教育“十五”国家级规划教材《信息论与编码》 2.3离散序列信源的熵 离散无记忆序列信源 布袋摸球实验，若每次取出两个球，由两个球的颜色组成的消息就是符号序列。若先取出一个球，记下颜色放回布袋，再取另一个球。 * 普通高等教育“十五”国家级规划教材《信息论与编码》 2.3离散序列信源的熵 离散有记忆序列信源 布袋摸球实验，每次取出两个球，由两个球的颜色组成的消息就是符号序列。若先取出一个球，记下颜色不放回布袋，再取另一个球。 * 普通高等教育“十五”国家级规划教材《信息论与编码》 2.3离散序列信源的熵 马尔可夫信源 当信源的记忆长度为m+1时，该时该发出的符号与前m个符号有关联性，而与更前面的符号无关。 * 普通高等教育“十五”国家级规划教材《信息论与编码》 2.3离散序列信源的熵 马尔可夫信源 由于高阶马尔可夫信源需要引入矢量进行分析，现方法将矢量转化为状态变量。定义状态： 信源在某一时刻出现符号概率xj与信源此时所处状态si有关，用条件概率表示p(xj/si),状态转移概率表示为p(sj/si) * 普通高等教育“十五”国家级规划教材《信息论与编码》 2.3离散序列信源的熵 马尔可夫信源 更一般，经过n-m步后转移至sj的概率 * 普通高等教育“十五”国家级规划教材《信息论与编码》 2.3离散序列信源的熵 马尔可夫信源 特别关心n-m=1