信息论与编码课件(第二章).ppt

信息理论与编码 主讲：樊 荣 第二章 离散信源及其信息测度 2.1 信源的数学模型及分类 离散信源及其信息测度 本章重、难点内容： 了解信源的分类及其数学模型 掌握事件自信息量的定义及计算* 掌握信息熵的定义及其计算* 知道信息熵的各种性质（其中极值性为重点） 能计算无记忆扩展信源的熵 知道离散平稳信源 2.1 信源的数学模型及分类 在通信系统中，收信者在未收到信息以前，对信源发出什么样的消息是不确定的，是随机的，所以可以用随机变量、随机矢量或随机过程来描述信源输出的消息，或者说用一个样本空间及其概率测度来描述信源。 不同的信源根据其输出消息的不同的随机性质进行分类。 信源输出的消息用随机变量描述 连续信源 2、平稳随机序列信源 总体特征：信源输出的消息由一系列符号序列所组成，可用N维随机矢量 X＝(X1,X2,…,XN)描述，且随机矢量X 的各维概率分布都与时间起点无关 平稳！！ 离散平稳信源：输出的随机序列 中每个随机变量 取值是离散的，并且随机矢量X的各维概率分布不随时间平移而改变。 连续平稳信源：输出的随机序列 中每个随机变量 取值是连续的，并且随机矢量X的各维概率密度函数不随时间平移而改变 离散无记忆平稳信源 离散平稳信源的特例，信源发出的符号都相互统计独立，即各随机变量Xi (i＝1,2,…,N)之间统计独立。 性质如下：独立P(X)= P(X1,X2,…,XN)=P1(X1)·P2(X2)···PN(XN)平稳－ P1(X1)=P2(X2)=· · ·= PN(XN)－ 离散无记忆平稳信源 设各随机变量Xi取自同样符号集A:{a1,a2,…,aq}，则有 其中 是N维随机矢量的一个取值,即 是符号集A的一维概率分布。 由符号集A与概率测度 构成的信源空间 称由该信源空间描述的信源为离散无记忆信源 离散无记忆信源X的N次扩展信源 特征：由离散无记忆信源输出N长的随机序列构成的信源称为离散无记忆信源的N次扩展信源。 数学模型：X信源空间的N重空间 有记忆信源 信源在不同时刻发出的符号之间是相互依赖的，即信源输出的平稳随机序列X中，各随机变量Xi之间相互依赖。需在N维随机矢量的联合概率分布中，引入条件概率分布来说明它们之间的关联。 M阶马尔可夫信源 特征：信源每次发出的符号只与前m个符号有关，与更前面的符号无关。 3、信源输出的消息用随机过程来描述 随机波形信源：信源输出的消息是时间（或空间）上和取值上都是连续的函数 2.2 离散信源的信息熵 单符号离散信源的数学模型 X，Y，Z代表随机变量，指的是信源整体； 代表随机事件的某一结果或信源的某个元素。 不可混淆! 2.2.1 自信息 设离散信源的概率空间为： 自信息量单位的说明 自信息量的单位取决于对数的底； 底为2，单位为“比特（bit, binary unit）”； 底为e，单位为“奈特（nat, nature unit）”； 底为10，单位为“哈特（hat, Hartley）”； 根据换底公式得： 1 nat = 1.44bit , 1 hat = 3.32 bit； 一般计算都采用以“2”为底的对数，为了书写简洁，常把底数“2”略去不写。 例2.2.1 某地二月份天气的概率分布统计如下： 例2.2.2 设有12个形状完全相同的球，一个球的重量与其它球不同，其它球等重。为了用天平（无砝码）称出这个不同重量的球，问至少称多少次？ 2.2.2 信息熵 对于一个信源发出不同的消息所含有的信息量也不同。所以自信息I(ai)是一个随机变量，不能用它来作为整个信源的信息测度，我们用信息熵来描述整个信源的信息量。 熵的计算 有两个信源 计算2 有一布袋内放l00个球，其中80个球是红色的，20个球是白色的。随便摸出一个球，猜测是什么颜色，那么其概率空间为：?????????????????? 如果被告知摸出的是红球，那么获得的信息量是： I (a1) ＝－log p(a1) ＝－log0.8= 0.32 （比特） 如被告知摸出来的是白球，所获得的信息量应为： I (a2) ＝ －log p(a2) ＝ －log0.2 = 2.32 （比特） 平均摸取一次所能获得的信息量为 ： H(X)=p(a1)I(a1)+p(a2)I(a2)=0.72（比特/符号） 信息熵的含义 2.3 信息熵的基本性质 引入概率矢量P来表示概率分布P(x) 信息熵的基本性质 熵函数H(P)也是一种特殊函数，它的函数形式为 下面3个信源 2.确