南京工程学院信息论参考试卷信息论与编码学习要点.docVIP

信息论与编码的学习要点 自信息 自信息表示随机事件xi发生前的不确定性或发生后所包含的信息量，其定义为： 互信息 互信息表示已知事件yj后所消除的关于事件xi的不确定性，等于事件xi本身的不确定性I(xi)—已知事件yj后对xi仍然存在的不确定性I(xi/yj)，其定义为： 平均自信息 平均自信息表示整个信源（用随机变量X表示）的平均不确定性，它等于随机变量X的每一个可能取值的自信息I(xi)的统计平均值，其定义为： 离散信源的最大熵 离散信源中各消息等概率出现时熵最大，也称最大离散熵定理： 联合熵 联合熵表示二维随机变量XY的平均不确定性，它等于联合自信息的统计平均值，其定义为： 条件熵 条件熵表示已知随机变量X后，对随机变量Y仍然存在的平均不确定性，其定义为： 各类熵之间的关系为： H(XY)=H(X)+H(Y/X)=H(Y)+H(X/Y)≤H(X)+H(Y) X,Y统计独立时，H(XY)=H(X)+H(Y) 平均互信息 平均互信息表示收到一个符号集（用随机变量Y表示）后消除的关于另一个符号集（X）的不确定性，也就是从Y所获得的关于X的平均信息量，其定义为： 平均互信息和各类熵之间的关系： I(X;Y)=H(X)-H(X/Y)=H(Y)-H(Y/X)=H(X)+H(Y)-H(XY) 当X和Y统计独立时，I(X;Y)=0 数据处理定理 如果随机变量X，Y，Z构成一个马尔可夫链，则