信息论与编码第二章(1、2节).pptVIP

第二章：信源与信源熵2.1 信源的描述与分类 信源的统计特性 1）什么是信源？ 信源是信息的来源，实际通信中常见的信源有：语音、文字、图像、数据…。在信息论中，信源是产生消息（符号）、消息（符号）序列以及连续消息的来源，数学上，信源是产生随机变量U，随机序列U和随机过程U(t,ω)的源。 2）信源的主要特性 信源的最基本的特性是具有统计不确定性，它可用概率统计特性来描述。 信源的描述与分类 一、无记忆信源： 1、单符号无记忆信源 2、符号序列信源 二、有记忆信源 三、马尔可夫信源 一、无记忆信源 在某些简单的离散平稳信源情况下，信源先后发出的一个个符号彼此是统计独立的。也就是说信源输出的随机矢量X=(X１X２…XＮ）中，各随机变量Xi (i=1,2,…N)之间是无依赖的、统计独立的，则N维随机矢量的联合概率分布满足P(X)=P１（Ｘ１）P２（Ｘ２）…PＮ（ＸＮ） 我们称由信源空间［X，P(x)］描述的信源X为离散无记忆信源。这信源在不同时刻发出的符号之间是无依赖的，彼此统计独立的。 1、单符号无记忆信源 2、符号序列信源 1、单符号无记忆信源 （1）单符号离散无记忆信源 在实际情况中，存在着很多这样的信源。例如投硬币、书信文字、计算机的代码、电报符号、阿拉伯数字码等等。这些信源输出的都是单个符号(或代码)的消息，它们符号集的取值是有限的或可数的。我们可用一维离散型随机变量X来描述这些信源的输出。它的数学模型就是离散型的概率空间： 例：对于二进制数据、数字信源：U={0,1}，则有 1、单符号无记忆信源（2）单符号连续无记忆信源 有的信源虽输出是单个符号(代码)的消息，但其可能出现的消息数是不可数的无限值，即输出消息的符号集A的取值是连续的，或取值是实数集(-∞，∞)。例如，语音信号、热噪声信号某时间的连续取值数据，遥控系统中有关电压、温度、压力等测得的连续数据。这些数据取值是连续的，但又是随机的。我们可用一维的连续型随机变量X来描述这些消息。这种信源称为连续信源，其数学模型是连续型的概率空间： 2、符号序列信源（信源的扩展） 每次发出一组含2个以上符号的序列来表示一个 消息。 表示方法： X=(Ｘ１，Ｘ２，…，ＸL) L —— 表示序列长度 若上例中每次取两只球，以它们的颜色组成的颜色 的消息就是序列。 二、有记忆信源 一般情况下，信源在不同时刻发出的符号之间是相互依赖的。也就是信源输出的平稳随机序列X中，各随机变量Xi之间是有依赖的。例如，在汉字组成的中文序列中，只有根据中文的语法、习惯用语、修辞制约和表达实际意义的制约所构成的中文序列才是有意义的中文句子或文章。所以，在汉字序列中前后文字的出现是有依赖的，不能认为是彼此不相关的。其他如英文，德文等自然语言都是如此。这种信源称为有记忆信源。 我们需在N维随机矢量的联合概率分布中，引入条件概率分布来说明它们之间的关联。 三、马尔可夫信源 表述有记忆信源要比表述无记忆信源困难得多。实际上信源发出的符号往往只与前若干个符号的依赖关系强，而与更前面的符号依赖关系弱。为此，可以限制随机序列的记忆长度。 当记忆长度为m+1时，称这种有记忆信源为m阶马尔可夫信源。也就是信源每次发出的符号只与前m个符号有关，与更前面的符号无关。 时齐马尔可夫信源 设马尔可夫信源各时刻随机变量Ｘｋ的取值为xk，xk∈Xk，k=1,2,…，i-1,i,i+1,…N，则描述随机序列中各随机变量之间依赖关系的条件概率为 P(xi|…xi+2xi+1xi-1xi-2xi-3…xi-m…x1） =Ｐ（xi|…xi-1xi-2x-3…xi-m） （i=1,2,…N） 如果上述条件概率与时间起点i无关，即信源输出的符号序列可看成为时齐马尔可夫链，则此信源称为时齐马尔可信源。 2.2 离散信源熵和互信息 一、自信息量 1、 单位：以2为底------比特（ bit ） 以10为底----奈特（ Nat） 取自然对数—笛特（Det） 1 bit = 0.693 Nat = 0.301 Det 2、不确定度 不确定度是信源符号固有的，不论符号是 否发出，自信息量是信源符号发出后给予收信 者的。 它与自信息量在数字上大小相等，但表示 的物理含义不一样。 小概率事件，一当出现必然使人感到意外，因此产生的信息量就大；几乎不可能事件一