信息论 基础理论与应用第三版(傅祖芸)第2章 离散信源及其信息测度.ppt

1、随机变量描述的信源（单符号） 特点：输出单符号消息。符号集的取值A:{a1,a2,…,aq}是有限的或可数的,可用离散型随机变量X描述。 数学模型：设每个信源符号ai出现的(先验)概率p(ai) (i=1,2,…,q) 满足： 2）连续信源 特点：输出单符号消息，消息符号集A取值连续的（不可数），可用连续型随机变量X 描述。 例：语音信号、热噪声信号、遥控系统中有关电压、温度、压力等测得的连续数据等等。 数学模型：连续型的概率空间。即： 1）平稳信源 特点: 信源输出的消息由一符号序列所组成。 可用N维随机矢量 X＝(X1,X2,…,XN)描述，且随机矢量X的各维概率分布都与时间起点无关 。 离散平稳信源：每个随机变量Xi (i＝1,2,…,N)是取值离散的随机变量。 连续平稳信源：每个随机变量Xi (i＝1,2,…,N)是取值连续的随机变量。 2）离散无记忆平稳信源 离散平稳信源的特例，信源发出的符号都相互统计独立，即各随机变量Xi (i＝1,2,…,N)之间统计独立。 性质： 独立－P(X)= P(X1, X2, …,XN)= P1(X1) · P2(X2)· · · PN(XN) 平稳－P1(Xi) = P2(Xi)=· · ·= PN(Xi) = P(Xi) （下标1-N为时间标志） 3）离散无记忆信源的N次扩展信源 信源X的各输出Xi间统计独立、且取值同一符号集A。该信源 输出的N维随机矢量X为离散无记忆信源X的N次扩展信源。 此扩展信源取值为符号集?i ＝(ai1ai2…aiN), 其中 (i1 , i2 ,…,iN =1,2 , …,q)， 其数学模型是X信源空间的N重空间： 4）有记忆信源 信源在不同时刻发出的符号之间是相互依赖的，即信源输出的随机序列X中，各随机变量Xi之间相互依赖。 须使用随机矢量的联合概率分布和条件概率分布来说明它们之间的关联关系。 例：汉字组成的中文序列中，只有根据中文的语法、习惯用语、修辞制约和表达实际意义的制约所构成的中文序列才是有意义的中文句子或文章。所以，在汉字序列中前后文字的出现是有依赖的，是彼此相关的。 5）m阶马尔可夫信源（非平稳信源） 不同时刻发出的符号间的依赖关系 随机波形信源（随机模拟波形） 信源输出的消息是时间和取值都连续的。随机波形信源在某一固定时间 t0 的可能取值是连续和随机的。对于这种信源输出的消息，可用随机过程描述。 例：语音信号X(t)、热噪声信号n(t)、电视图像信号X(r(t),g(t),b(t))等时间连续函数。 常采用采样、离散的方法进行时间和取值的离散化，将随即波形信源化为随机矢量进行处理。 2.2 离散信源的信息熵 基本的离散信源： 输出单符号消息，且这些消息间两两互不相容。用一维随机变量X来描述信源的输出，其数学模型可抽象为: 信息的度量 要点： 信息的度量（信息量）和不确定性消除的程度有关，消除的不确定性＝获得的信息量； 不确定性就是随机性，可以用概率论和随机过程来测度； 推论： 概率小－信息量大，即信息量是概率的单调递减函数； 信息量应该具有可加性； 信息量的计算公式为（香农（自）信息量的度量）： 2.1.1 自信息 设离散信源X的概率空间为： （略）自信息公式的导出 某事件发生所含有的信息量应该是该事件发生的先验概率的函数。即： I(ai) ＝ f[p(ai)] 根据客观事实和人们的习惯概念，函数 f[p(ai)] 应满足以下条件： （1）它应是先验概率p(ai)的单调递减函数，即当 p (a1) p (a2) 时，有 f[p(a1)] f[p(a2)] ； （2）当p(ai) =1时， f[p(ai)] = 0 （3）当p(ai) =0时， f[p(ai)] = ? （4）两个独立事件的联合信息量应等于它们分别的信息量之和。即统计独立信源的信息量等于它们分别的信息量之和。 容易证明对数函数满足上述条件： 度量单位 计算自信息量时要注意有关事件发生概率的计算； 自信息量的单位取决于对数的底； 底为2，单位为“比特（bit, binary unit）”； 底为e，单位为“奈特（nat, nature unit）”； 底为10，单位为“哈特（hat, Hartley）”； 根据换底公式得： [例] 8个串联的灯泡x1，x2，…，x8，其损坏的可能性是等概率的，现假设其中有一个灯泡已损坏，问每进行一次测量可获得多少信息量？总共需要多少次测量才能获知和确定哪个灯泡已损坏。 解： 第二次测量获得的信息量 = I[P2(x)] - I[P3