第2章-信源与信息熵(4).ppt

2.3离散序列信源熵二、有记忆信源序列熵必须引入条件熵的概念,而且只能在某些特殊情况下才能得到一些有价值的结论。对于由两个符号组成的联合信源,有下列结论:当前后符号无依存关系时,有下列推论：2.3离散序列信源熵二、有记忆信源序列熵若信源输出一个L长序列,则信源的序列熵为平均每个符号的熵为：若当信源退化为无记忆时:若当信源平稳时:2.3离散序列信源熵7/92/90a21/83/41/8a102/119/11a0a2a1a0离散有记忆信源各符号的概率空间:信源发出的二重符号，两个符号的概率关联性用条件概率p(aj|ai)表示,如表。p(aj|ai)求离散信源的序列熵和平均每个符号的熵?例2.3离散序列信源熵解：由p(ai,aj)=p(ai)p(aj|ai)计算得联合概率p(aiaj)如表：7/361/180a21/181/31/18a101/181/4a0a2a1a0序列熵：平均符号熵：2.3离散序列信源熵当信源符号之间无记忆时,信源X的信息熵为有记忆时平均符号熵：结论：有记忆时平均符号熵小于无记忆时的符号熵。即不确定度减小。原因？2.3离散序列信源熵⑴条件熵H(XL|XL-1)随L的增加是非递增的。条件较多的熵必小于或等于条件较少的熵，而条件熵必小于或等于无条件熵。三、离散平稳信源即：条件越多，条件熵越小序列越长，条件熵越小2.3离散序列信源熵三、离散平稳信源⑵L给定时,平均符号熵≥条件熵：HL(X)≥H(XL|XL-1)证：即：序列中平均符号熵大于最后一个符号的条件熵2.3离散序列信源熵三、离散平稳信源⑶HL(X)是L的单调非增函数HL(X)≤HL-1(X)证：即：序列越长，平均每个符号的熵越小。2.4连续信源熵和互信息离散信源的统计特性：用概率分布描述连续信源的统计特性：用概率密度函数描述用离散变量逼近连续变量。2.4连续信源熵和互信息单变量x，设幅度连续的单个符号信源是连续变量x的概率密度函数由中值定理得：令：根据离散信源熵的定义：2.4连续信源熵和互信息幅度连续的单个符号信源2.4连续信源熵和互信息幅度连续的单个符号信源对比离散信源熵：连续信源熵定义为：2.4连续信源熵和互信息幅度连续的单个符号信源说明：（1）形式相似。（2）意义不同：连续信源的不确定度为无穷大离散信源的不确定度为定值。可以理解为:连续信源是一个不可数的无穷多个幅度值信源，需要用无限多个二进制来表示，因而熵为无穷大。2.4连续信源熵和互信息幅度连续的单个符号信源实际问题中，常遇到的问题是熵之间的差值，如互信息量。为什么会有连续信源熵的定义式？连续信源熵只有相对意义，而不是绝对值。上节内容回顾主要内容：一、单符号互信息二、平均互信息三、互信息的物理意义上节内容回顾一、单符号互信息指通信前后不确定度的减小量（差值）称为互信息量。1、定义①对称性②干扰很大（相互独立）时：无干扰时：③2、性质一、单符号互信息上节内容回顾二、平均互信息1、定义指单符号互信息I(xi,yj)在X和Y集合上的统计平均值。上节内容回顾二、平均互信息2、性质：①对称性②非负性③极值性理论证明略（与单符号互信息相同）。理论证明参考周荫清编的信息理论基础，直观理解直观理解！！上节内容回顾二、平均互信息当p(xi)一定时，互信息是p(yj/xi)的U型函数，存在极小值。信息率失真函数的理论基础。当p(yj/xi)一定时，互信息是p(xi)的n型函数，存在极大值。信道容量的理论基础。2、性质：上节内容回顾二、平均互信息平均互信息与联合熵之间的关系：上节内容回顾上节内容回顾三、互信息的物理意义（1）接收端收到yj后所获得的关于发送端xi的信息量。（2）通信中实际传送的有用信息量。接收端：发送端：I（X；Y）H（Y）H(Y/X)H（X/Y）H（X）发送端接收端损失熵（疑义度）噪声熵上节内容回顾三、互信息的物理意义2.2离散信源熵和互信息四、熵的性质非负性： 例2.2离散信源熵和互信息四、熵的性质2对称性： 例2.2离散信源熵和互信息四、熵的性质3确定性： 只要信源