信息论与编码第2章信源与信源熵题稿.ppt

第2章 信源与信源熵 吴晓青 目录 2.1 信源的数学模型和分类 2.2 离散信源的熵与互信息 2.3 熵的性质 2.4 离散信源序列的熵 2.5 连续信源的熵与互信息量 2.6信源相关性与冗余度 信源：产生随机变量、随机序列和随机过程的源。 信源的基本特性：具有随机不确定性。使用统计方法描述。 信源的分类（根据幅度、时间） 离散信源：文字、数据、电报——随机序列 连续信源：话音、图像——随机过程 离散信源： 输出在时间和幅度上都是离散分布的消息。消息数是有限的或可数的，且每次只输出其中一个消息，即两两不相容。 连续信源： 时间、幅度都连续的信号作为信源；比如：声音等波形信源 时间离散、幅度连续的信源 离散信源分类 离散无记忆信源 发出单个符号的无记忆信源 发出符号序列的无记忆信源 离散有记忆信源 发出符号序列的有记忆信源 发出符号序列的马尔可夫信源 概率论基础 无条件概率，条件概率和联合概率的性质和关系： （1）非负性 （2）完备性 （3）联合概率 （4）贝叶斯公式 2.1.1信源输出的消息由随机变量描述 信源输出消息有限或者可数，每次只输出所有消息符号之一，用一维离散型随机变量来描述。 信源每次只输出单个符号，消息的数量不可数，用 一维连续型随机变量来描述。 定义2.1