03.信息论基础.pdf

第三章第三章第三章第三章信息论基础信息论基础信息论基础信息论基础 第三章第三章第三章第三章信息论基础信息论基础信息论基础信息论基础 目目目目 录录录录 目目目目 录录录录 离散无记忆信源离散无记忆信源离散无记忆信源离散无记忆信源 离散无记忆信源离散无记忆信源离散无记忆信源离散无记忆信源 信息量和互信息量信息量和互信息量信息量和互信息量信息量和互信息量信息量和互信息量信息量和互信息量信息量和互信息量信息量和互信息量 信息量和互信息量信息量和互信息量信息量和互信息量信息量和互信息量信息量和互信息量信息量和互信息量信息量和互信息量信息量和互信息量 信息熵信息熵信息熵信息熵 信息熵信息熵信息熵信息熵 联合熵联合熵联合熵联合熵 联合熵联合熵联合熵联合熵 条件熵条件熵条件熵条件熵 条件熵条件熵条件熵条件熵 交互熵交互熵交互熵交互熵 交互熵交互熵交互熵交互熵 离散无记忆信源离散无记忆信源离散无记忆信源离散无记忆信源 离散无记忆信源离散无记忆信源离散无记忆信源离散无记忆信源 单符号离散无记忆信源单符号离散无记忆信源单符号离散无记忆信源单符号离散无记忆信源 单符号离散无记忆信源单符号离散无记忆信源单符号离散无记忆信源单符号离散无记忆信源 数学模型数学模型数学模型数学模型:: 数学模型数学模型数学模型数学模型 信源发出消息信源发出消息，消息载荷信息，消息载荷信息,而消息又具有而消息又具有 信源发出消息信源发出消息，，消息载荷信息消息载荷信息而消息又具有而消息又具有 不确定性不确定性，所以可用随机变量或者随机矢量，所以可用随机变量或者随机矢量 不确定性不确定性，，所以可用随机变量或者随机矢量所以可用随机变量或者随机矢量 来描述信源输出的消息来描述信源输出的消息来描述信源输出的消息来描述信源输出的消息，，，，或者说用概率空间或者说用概率空间或者说用概率空间或者说用概率空间 来描述信源输出的消息来描述信源输出的消息来描述信源输出的消息来描述信源输出的消息，，，，或者说用概率空间或者说用概率空间或者说用概率空间或者说用概率空间 来描述信源来描述信源。。 来描述信源来描述信源。。 一类信源输出的消息常常是以一个个符号的一类信源输出的消息常常是以一个个符号的 一类信源输出的消息常常是以一个个符号的一类信源输出的消息常常是以一个个符号的 形式出现形式出现，例如，例如：文字：文字、字母等、字母等。这些符号。这些符号 形式出现形式出现，，例如例如：：文字文字、、字母等字母等。。这些符号这些符号 的取值是有限的或可数的的取值是有限的或可数的，这样的信源称离，这样的信源称离 的取值是有限的或可数的的取值是有限的或可数的，，这样的信源称离这样的信源称离 散信源散信源。。 散信源散信源。。 1.1.单符号离散无记忆信源单符号离散无记忆信源单符号离散无记忆信源单符号离散无记忆信源 （续（续（（续）续））） 单符号离散无记忆信源单符号离散无记忆信源单符号离散无记忆信源单符号离散无记忆信源 （（（（续续续续）））） 单符号离散信源单符号离散信源：只涉及一个随机事件：只涉及一个随机事件；用；用 单符号离散信源单符号离散信源：：只涉及一个随机事件只涉及一个随机事件；；用用 离散随机变量来描述离散随机变量来描述。。 离散随机变量来描述离散随机变量来描述。。 多符号离散信源多符号离散信源：涉及多个随机时间：涉及多个随机时间；用离；用离 多符号离散信源多符号离散信源：：涉及多个随机时间涉及多个随机时间；；用离用离 散随机矢量来描述散随机矢量来描述散随机矢量来描述散随机矢量来描述。。。。 散随机矢量来描述散随机矢量来描述散随机矢量来描述散随机矢量来描述。。。。 连续信源连续信源：输出连续