条件熵与联合熵定义、性质及其应用实例.pdfVIP

条件熵

条件熵是在联合符号集合XY上的条件自信息量的数学期望。

在已知随量Y的条件下，随量X的条件熵定义为：

mn

H(X/Y)E[I(x/y)]p(xy)I(x/y)

ijijij

要用联合

j1i1

概率加权

mn

−p(xy)logp(x/y)

ijij

j1i1

nm

H(Y/X)E[I(y/x)]−p(xy)logp(y/x)

jiij2ji

i1j1

条件熵是一个确定值，表示信宿在收到Y后，信源X仍然存

在的不确定度。这是传输失真所造成的。有时称H(X/Y)为

信道疑义度，也称损失熵。称条件熵H(Y/X)为噪声熵。

联合熵

(xy)

•联合离散符号集合XY上的每个元素对ij的联合

自信息量的数学期望。

nmnm

H(XY)p(xy)I(xy)−p(xy)logp(xy)

ijijij2ij

i1j1i1j1

熵、条件熵、联合熵关系

H(XY)H(X)+H(YX)

H(Y)+H(XY)

例题

•一个二进信源X发出符号集{0,1},经过离散无记忆信道传

输,信道输出用Y表示.由于信道中存在噪声,接收端除收

到0和1的符号外,还有不确定符号“2”X