3.2 离散无记忆信源的信息测度.pdfVIP

离散无记忆信源

的信息测度

Review

离散无记忆信源

离散信源在不同时刻发出的符号之间是无依赖的

彼此统计独立的。

ααLα

,,

X

12n



PxP(α),P(α),L,P(α)

()

12n

n

Pα

αα,α,,α()1

其中，i∈{12Ln}且∑i

i1

自信息量

设单符号离散信源的信源空间为

ααα

,,

XL

12n



()P(α),P(α),L,P(α)

Px

12n

如果知道事件x已发生，则该事件所含有的信息量称为

i

自信息，定义为:

1

I(x−px

i)loglog(i)

p(xi)

含义：当事件x发生以前,表示事件x发生的不确定性。

ii

信源熵

信源各个离散消息的自信息量的数学期望（即概率加权的

统计平均值）为信源的平均信息量，称为信源的信息熵，也

叫信源熵。

1n

()()log=−()log()

HXE[Ixi]E2∑pxi2pxi

px

(i)i1

熵函数的自变量是X表示信源整体，实质上是离散无

记忆信源平均不确定度的度量。与自信息不同,自信

息表示某一消息所含有的信