信息论与编码-第二章..pdfVIP

信息论与编码-信源及信源熵 第二章 信源与信源熵 ➢ 信源的描述与分类 ➢ 离散信源熵和互信息 ➢ 离散序列信源的熵 ➢ 连续信源的熵和互信息 信息论与编码-信源及信源熵 ➢ 从这一章开始，我们从有效而可靠地传输信 息的观点 发，对组成信息传输系统的各个 部分分别进行讨论。 ➢ 本章首先讨论信源，重点是信源的统计特性 和数学模型，以及各类离散信源的信息测度 ——熵及其性质。这部分内容是香农信息论 的基础。 信息论与编码-信源及信源熵 22..11信信源源的的描描述述与与分分类类 信源的分类方法依信源特性而定，一般按照信源 出的消息在时间上和幅度上的分布情况，把信源分 为： • 连续信源： 出在时间上和幅度上都是连续分布的 连续消息的信源； • 离散信源： 出在时间上和幅度上都是离散分布的 信源。 信息论与编码-信源及信源熵 离散信源又可以细分为： • 离散无记忆信源：所发出的各个符 之间是 相互独立的，即发出的符 序列中的各个符 之间没有统计关联性，各个符 的出现概 率是它自身的先验概率。 • 离散有记忆信源：发出的各个符 之间不是 相互独立的，即各个符 出现的概率是有关 联的。 信息论与编码-信源及信源熵 也可以根据信源发出一个消息所用符号的多少， 将离 信源分为： • 发出单个符号的离 信源：信源每次只发出 一个符号代表一个消息； • 发出符号序列的离 信源：信源每次发出一 组含二个以上符号的符号序列代表一个消息。 信息论与编码-信源及信源熵 一类重要的符号序列有记忆离散信源 马尔可夫信源： • 一个符号出现的概率只与前面一个或有限 个符号有关，而不依赖更前面的那些符号。 信息论与编码-信源及信源熵 2.1.1 无记忆信源 • 在通信系统中收信者在未收到消息以前， 信源发出什么 消息是不确定的，所以可用随机变量或随机矢量来描述信 源输出的消息。或者说，用概率空间来描述信源。 • 离散性随机变量X表示信源输出的消息， • X的样本空间(符号集合）A= {a ,a ,…,a } 1 2 n • X∈A • X的概率分布为P (X=a )=p (a ),P (X=a )=p (a ),…, 1 1 2 2 P (X=a )=p (a ),也称为先验概率 n n • p (a )+p (a )+…+p (a )=1 （完备性） 1 2 n 信息论与编码-信源及信源熵 离散无记忆信源单符号、消息数有限 为先验概率，满 信息论与编码-信源及信源熵 ➢ 离散无记忆信源单符号、消息数无限 信源输出的消息也是单个符号，但消息的数 是无 限的，即随机变 X的取值是无限的 为符号分布的概率密度函数，且满足 信息论与编码-信源及信源熵 ➢ 离散无记忆信源序列符号、消息数有限 • 用随机序列 （随机矢 ）来描述信源输出的消息 • 每个分 的取值范围为 • 设L=2，且A =A ，则信源 的概率空间为