信息论与编码_曹雪虹_PPT第二章.ppt

第2章 信源与信息熵 信源描述与分类 离散信源的信息熵和互信息 离散序列信源的熵 连续信源的熵与互信息 冗余度 引言 有效性和可靠性是通信系统中研究的中心问题，信息论是在信息可度量基础上，研究有效地和可靠地传递信息的科学。因此，概率论、随机过程是信息论研究的基础和工具。 信源的数学模型 正如绪论中所述，在通信系统中收信者在未收到消息以前，对信源发出什么消息是不确定的，所以可用随机变量或随机矢量来描述信源输出的消息。或者说，用概率空间来描述信源。 离散信源的数学模型就是离散型的概率空间： 信息量与不确定性： 信息是事物运动状态或存在方式的不确定性的描述。那么,根据香农信息的定义，信息该如何度量呢？ 当人们收到一封E_Mail，或看了电视，到底得到多少信息量呢？显然，信息量与不确定性消除的程度有关。消除多少不确定性，就获得多少信息量。那么，不确定性的大小能度量吗？ 用数学的语言来讲，不确定性就是随机性，具有不确定性的事件就是随机事件。因此，可以应用研究随机事件的数学工具 —— 概率论来度量不确定性的大小。简单地说，不确定性的大小可以直观地看成是猜测某随机事件是否发生的难易程度。 不确定性的大小能够度量，信息也可以度量： 例如：设有甲、乙两个布袋内各装有100个球。甲袋内红、白球各50个，乙袋内有红、白、蓝、黄四种球，各25个。现随意从甲袋或乙袋中摸出一球，并猜测“从甲袋中摸出的是红球”和“从乙袋中摸出的是红球”的不确定性哪一个大？ 由此可见，某一事物状态的不确定性的大小，与该事物可能出现的不同状态数目以及各状态出现的概率大小有关。既然不确定性的大小能够度量，可见，信息是可以度量的。 下面先回忆几个基本概念： 1）样本空间： 在随机事件（或实验）中，把某事物可能出现状态，即所有可能选择的消息集合在一起，称为样本空间。 每个可能选择的消息称作是该样本空间的元素。 2）概率测度： 就是对每一个可能选择的消息指定一个概率。（非负的，且总和为1）。 概率空间： 样本空间和它的概率测度统称为一个概率空间，用[X，P]来表示。在离散情况下，概率空间表示为： 其中： 就是消息 的概率，称为先验概率。 4）随机变量： X 可称为随机变量，就是从样本空间到实数区域的单值映射。 2.1信源的描述与分类 信源是产生消息（符号）、消息序列和连续消息的来源。从数学上，由于消息的不确定性，因此，信源是产生随机变量、随机序列和随机过程的源 信源的基本特性是具有随机不确定性 2.1信源特性与分类 分类 时间 离散 连续 幅度 离散 连续 记忆 有 无 三大类： 单符号离散信源 符号序列信源（有记忆和无记忆） 连续信源 2.1信源特性与分类 离散无记忆序列信源 布袋摸球实验，若每次取出两个球，由两个球的颜色组成的消息就是符号序列。若先取出一个球，记下颜色放回布袋，再取另一个球。 2.1信源特性与分类 离散有记忆序列信源 布袋摸球实验，每次取出两个球，由两个球的颜色组成的消息就是符号序列。若先取出一个球，记下颜色不放回布袋，再取另一个球。 2.1信源特性与分类 马尔可夫信源 当信源的记忆长度为m+1时，该时该发出的符号与前m个符号有关联性，而与更前面的符号无关。 2.1信源描述与分类 描述：通过概率空间描述 单符号离散信源 例如：对二进制数字与数据信源 2.1信源描述与分类 连续信源 2.1信源描述与分类 离散序列信源 以3位PCM信源为例 2.1信源描述与分类 当p=1/2 2.1信源描述与分类 离散无记忆序列信源 布袋摸球实验，若每次取出两个球，由两个球的颜色组成的消息就是符号序列。若先取出一个球，记下颜色放回布袋，再取另一个球。 2.1信源描述与分类 离散有记忆序列信源 布袋摸球实验，每次取出两个球，由两个球的颜色组成的消息就是符号序列。若先取出一个球，记下颜色不放回布袋，再取另一个球。 2.1信源描述与分类 马尔可夫信源 当信源的记忆长度为m+1时，该时该发出的符号与前m个符号有关联性，而与更前面的符号无关。 2.1信源描述与分类 马尔可夫信源 由于高阶马尔可夫信源需要引入矢量进行分析，现方法将矢量转化为状态变量。定义状态： 信源在某一时刻出现符号概率xj与信源此时所处状态si有关，用条件概率表示p(xj/si),状态转移概率表示为p(sj/si) 2.1信源描述与分类 马尔可夫信源 更一般，经过n-m步后转移至sj的概率 2.1信源描述与分类 马尔可夫信