信概知识点总结.docVIP

信概知识点总结

一、信息论基础

1.信息熵

-定义：信息熵是衡量信息不确定性的度量，表示信息源输出的平均信息量。

-公式：H(X)=-∑p(x)log?p(x)，其中p(x)为随机变量X取值x的概率。

-特性：信息熵具有非负性、对称性和可加性。

2.联合熵与条件熵

-联合熵：衡量两个随机变量联合不确定性的度量，H(X,Y)=-∑∑p(x,y)log?p(x,y)。

-条件熵：在已知一个随机变量的条件下，另一个随机变量的不确定性度量，H(Y|X)=-∑p(x)∑p(y|x)log?p(y|x)。

3.互信息

-定义：互信息是衡量两个随机变量之间相互依赖程度的度量。

-公式：I(X;Y)=H(X)-H(X|Y)=H(Y)-H(Y|X)。

-特性：互信息非负，且在X和Y相互独立时为零。

二、信源编码

1.无失真编码

-定义：无失真编码是指编码后的信息能够完全恢复原始信息，无失真编码要求满足Kraft不等式。

-常见编码：哈夫曼编码、算术编码。

2.有失真编码

-定义：有失真编码允许在编码过程中损失部分信息，以换取更高的压缩率。

-常见编码：行程长度编码、预测编码。

三、信道编码

1.差错控制编码

-定义：差错控制编码是通过增加冗余信息来检