二章信源及信源熵.pdf

第2章信源与信息熵 2.1 信源的数学模型及分类 2.2 离散信源熵和互信息 2.3 信息熵的性质 2.4 离散序列信源熵 2.5 连续信源熵与互信息 2.6 信源的冗余度 从这一章开始，我们从有效而可靠地传 输信息的观点出发，对组成信息传输系统 的各个部分分别进行讨论。本章首先讨论 信源，重点是信源的统计特性和数学模型， 以及各类离散信源的信息测度——熵及其 性质。这部分内容是香农信息论的基础。  通信系统模型： 信源 编码器 信道 译码器 信宿 消息 信号 消息 信号＋干扰 干扰 噪声源  对信息论的学习可从信源开始  消息是信息的载荷者。信息是抽象的，消息是 具体的。要研究信息，还得从研究消息入手。  由于信源发送什么消息预先是不可知的，只能 用概率空间来描述信源 §2.1 信源的数学模型和分类 正如绪论中所述，在通信系统中收信者 在收到消息以前，对信源发出什么消息是不 确定的 。因此可用随机变量或随机矢量来表 示信源, 运用概率论和随机过程的理论来研 究信息, 这就是香农信息论的基本点。 信源的分类方法依信源特性而定，一般按照信源 发出的消息在时间上和幅度上的分布情况，把信源分 为： 1. 连续信源：发出在时间上和幅度上都是连续分布的连 续消息的信源； 2. 离散信源：发出在时间上和幅度上都是离散分布的离 散消息的信源。 离散信源又可以细分为： （1）离散无记忆信源：所发出的各个符号之间 是相互独立的，发出的符号序列中的各个符号 之间没有统计关联性，各个符号的出现概率是 它自身的先验概率。 （2 ）离散有记忆信源：发出的各个符号之间不 是相互独立的，各个符号出现的概率是有关联 的。 也可以根据信源发出一个消息所用符号的多 少，将离散信源分为： 1. 发出单个符号的离散信源：信源每次只发出 一个符号代表一个消息； 2. 发出符号序列的离散信源：信源每次发出一 组含二个以上符号的符号序列代表一个消息。 一类重要的符号序列有记忆离散信源-马尔可夫信 源：某一个符号出现的概率只与前面一个或有限个符 号有关，而不依赖更前面的那些符号。 当信源的记忆长度为m+1时，称这种有记忆信源 为m阶马尔可夫信源： p (x | x x x x x x ) i i2 i1 i1 i2 im 1 p (x |x x x ) (i 1,2,,N ) i i1 i2 im 用概率空间来描述离散信源: 一个离散信源的数学模型就是离散型的概率空间：  x 1 x 2  x n  X     P       p (x ) p (x )  p (x )