第七章 信源与信源编码.pdfVIP

第七章 信源和信源编码  信源分类  通信的信息论基础通信的信息论基础 信息熵、互信息 无失真离散信源编码 信息率失真函数信息率失真函数 限失真信源编码  连续信源的限失真编码、PCM原理 Copyright by Hailiang Xiong 山东大学 1 7.2 信息及其度量 通信的目的：信息传递。 1. 信息的含义：消息是信息的具体表现形式，信息是本质的、抽 象的内容象的内容。  信息是消息中的不确定内容（不确定性越大，则包含的信息越多）  通常理解通常理解：：事件发生的事件发生的可能性越大可能性越大，，信息量越少信息量越少；；反之反之，，信息量越大信息量越大。。  信息是消息中的不确定性的描述。 2. 信息的定量描述：信息量  若干独若干独立信息之和的信息量是所含信息量的线性叠信息之和的信息量是所含信息量的线性叠加，，具有相具有相加性性。 Copyright by Hailiang Xiong 山东大学 2 信源的统计特计特性描述 信源的分类：不同的信源输出的消息的随机性质不同，可以根据消息 的不同的随机性质来对信源进行分类：  按照某时刻信源输出消息的取值集合的离散性和连续性, 信源 可分为离散信源和连续信源;  按照信源输出消息的所对应的随机序列中随机变量前后之间有 无依赖关系, 信源可分为无记忆信源和有记忆信源;  按照信源输出消息的所对应的随机序列的平稳性, 信源可分为 平稳信源和非平稳信源; Copyright by Hailiang Xiong 山东大学 3 信源的统计特性描述 离散信源和连续信源离散信源和连续信源 （1）用离散随机变量X表示单符号离散信源（一个符号表示一完整消息， 符号取值可列符号取值可列），，X的可能取值为信源可能取值为信源发出的各种不同符号各种不同符号，，X的概率概率 分布为各符号的先验概率。  离散无记忆信源：序列中的前后消息相互统计独立；  离散有记忆信源离散有记忆信源：：序列中的前后消息不满足统计独立的序列中的前后消息不满足统计独立的条件条件。 （2）连续信源：信源的取值为无穷不可数的连续值，其概率分布用概率密 度函数表示。 Copyright by Hailiang Xiong 山东大学 4 信源的统计特性描述 单消息单消息 （（符号符号））信源信源: （1）单消息离散信源：仅输出一个离散符号，是取值离散的随机变量 例：若信源X 的取值有n个，x ，x ，… ，x 1 2 n 各符号概率分布P(x ) ，P(x ) ，… ，P(x ) 且ΣP(x ) =1 1 2 n i i 其统计描述可表示为  XX   xx , xx , ... xx     1 2 n  p x P x P x P x  ( i )   ( 1),