微分熵与平均互信息.pptxVIP

第8章微分熵与平均互信息信息如何度量？

8.1微分熵1、单符号连续信源定义信源发出的消息为单一符号，这些符号随机取值于一个连续域表示连续型随机变量X

随机变量X的取值x为信源发出的消息

例1例2

概率密度函数p(x)如图所示2、熵与微分熵p(x)xbaa+(i-1)Δxa+iΔx

x落在第i个区域的概率根据中值定理p(x)xbaa+(i-1)Δxa+iΔx

熵

微分熵消息x所对应概率密度函数p(x)对数负值的数学期望，用h(X)表示定义表定义微分熵的目的微分熵不能作为连续信源的信息度量微分熵差具有信息度量的意义连续信源的微分熵与离散信源的熵在形式上统一

01均匀信源的微分熵02例3

01高斯信源的微分熵02例4

例如，当b-a1时，均匀分布信源的微分熵严格上凸性01微分熵的主要性质和最大微分熵定理不具有非负性02

01平均功率受限下的最大微分熵定理02连续信源一般讨论特定限制条件下的最大微分熵03最常用的限制条件——平均功率受限——均值为0且方差受限

设p(x)是任意概率密度函数，但

联合微分熵与条件微分熵1信源发出的消息为有限或可数的符号序列，符号序列中任何时刻的符号都随机取值于同一个连续域2多符号连续信源3定义4表示5连续型随机变量序列X1X2…Xn6

例1例2

定义表示联合微分熵与条件微分熵联合微分熵——消息x1x2…xn所对应联合概率密度函数p(x1x2…xn)对数负值的数学期望，用h(X1X2…Xn)表示010302

条件微分熵——消息x1x2…xn所对应条件概率密度函数p(xk/x1…xk-1)对数负值的数学期望，用h(Xk/X1…Xk-1)表示其中1k≤n定义表示010203

3、微分熵的链式法则

4、联合微分熵的界

8.3平均互信息1、单符号连续信道定义对应于单符号连续信源和单符号连续信宿的信道表示信源——连续型随机变量X信宿——连续型随机变量Y

随机变量X的取值x为信源发出的消息随机变量Y的取值y为信宿收到的消息Xp(y/x)Y

p(y/x)为信道转移概率密度函数

2、噪声熵与噪声微分熵p(y/xi)ydcc+(j-1)Δyc+jΔyx落在第i个区域基础上信道转移概率密度函数p(y/xi)如图所示i=1,2,…,N

p(y/xi)ydcc+(j-1)Δyc+jΔyy/xi落在第j个区域的信道转移概率根据中值定理

①噪声熵

定义表示噪声微分熵信源消息x信宿消息y所对应信道转移概率密度函数p(y/x)对数负值的数学期望，用h(Y/X)表示

定义表示平均互信息信宿消息y所对应概率密度函数p(y)与信源消息x信宿消息y所对应信道转移概率密度函数p(y/x)比值对数负值的数学期望，用I(X;Y)表示

微分熵不能作为信息度量，平均互信息——微分熵差，具有信息度量的意义以信宿为参考，利用信宿的微分熵和信道的噪声微分熵来度量信道中传输的平均信息量以信源为参考，利用信源的微分熵和信道的损失微分熵来度量信道中传输的平均信息量

对称性非负性4、平均互信息的主要性质

信道固定时，I(X;Y)对于信源概率密度函数p(x)严格上凸1信源固定时，I(X;Y)对于信道转移概率密度函数p(y/x)严格下凸2③严格凸性

8.4联合平均互信息与条件平均互信息1、多符号连续信道定义对应于多符号连续信源和多符号连续信宿的信道表示信源——连续型随机变量序列X1X2…Xn信宿——连续型随机变量序列Y1Y2…Yn

X1X2…Xnp(y1y2…yn/x1x2…xn)Y1Y2…Ynp(y1y2…yn/x1x2…xn)为信道转移概率密度函数

01联合平均互信息与条件平均互信息02定义

表示

定义

表示

3、平均互信息的链式法则

4、平均互信息的界