通信原理第一章zjs2010.pptVIP

(1)概率论结论 事件的不确定程度可以用其出现的概率来描述，事件出现的可能性越小则概率越小，反之越大 (2)信息量与概率的关系 消息Xi中的信息量I(Xi)是消息发生的概率p(Xi)的函数： I(Xi) =[p(Xi)]； 消息出现的概率越小，所包含的信息量越大，反比关系： I(Xi) ∝ 1/ p(Xi) (3)信息量线性相加原理 由若干个独立事迹构成的消息有： I[p(X1) p(X2) …] = I[p(X1) ]+ I[p(X2) ]+… 3.信息量与概率的关系 4.信息量的定义 若一个消息Xi出现的概率为p(Xi)则这则消息所含的信息量I(Xi) 为： I(Xi)=loga[1/p(Xi)]=-logap(Xi) 5.信息量的单位 信息量的单位取决于对数底a： a=2时信息量的单位为比特(bit) 常用 a=e时信息量的单位为奈特(nat) a=10时信息量的单位为哈特莱(Hartley) 二 离散消息的信息量 1.离散消息 状态是可数的或离散的消息 连续消息 离散信源 连续信源 2.等概率离散消息的信息量 M个离散消息中，每一个消息出现的概率相等为p=1/M， 则其信息量为： I＝log2[1/(1/M)] (bit) 若M是2的整次幂M＝2k(k=1、2、3…)，则： I＝log2[1/(1/2k)]＝k (bit) M=2呢？ 3.非等概率离散消息的信息量 (1) 非等概率离散信源 消息是由M个符号x1x2…xi…xm组成的集合(符号集)，每一个符号xi在消息中按一定的概率p(x1) … p(xi) … p(xm) 出现，且∑p(xi)＝1，则x1x2…xi…xm所包含的信息量分别为：-log2p(X1) 、-log2p(X2) -、… log2p(Xi) … 、-log2p(Xm)，每个符号所含的信息量用统计平均的方法来描述--平均信息量 (2) 信息源的熵 H(x)＝p(x1) [- log2p(X1) ]＋p(x2) [- log2p(X2) ]＋ … p(xi) [- log2p(Xi) ]＋ … p(xm) [- log2p(Xm) ] ＝-Σ p(xi) [- log2p(Xi) ] (bit/符号) (3) 总的信息量 I = n · H(x) 最大熵： Hmax (x) = -∑(1/M) log2(1/M) = log2M (bit/符号) 平均信息量也称信息源的熵 等概率时 三 连续消息的信息量 连续消息 用概率密度f(x)来描述 平均信息量(相对熵) H(x)=-∫f(x) logef(x)dx 例(1.4.1) p8: 信息源由四个符号0、1、2、3组成，它们出现的概率分别为：3/8、1/4、1/4、1/8，且每个符号的出现都是独立的。试求某个消息20102013021300120321010032101002310200202010312032100120210的信息量 解：方法一 平均信息量 0出现23次：I0=23 log2[1/(3/8)]=33 bit 1出现14次： I1=14 log2[1/(1/4)]=28 bit 2出现13次：I2=13 log2[1/(1/4)]=26 bit 3出现7次： I3=7 log2[1/(1/8)]=21 bit 总的信息量：I总=I0+I1+I2+I3=108 bit 消息共有57个符号，一个符号的平均信息量为： I平均= I总/57=108/57=1.89 bit /符号 解：方法二 信息熵 信息熵 H(x)= -Σp(xi) [-log2p(Xi)] =-3/8 log2(3/8)-1/4 log2 (1/4)