武汉理工大学信息理论与编码第二章 信息的度量（三）.pdfVIP

2.5 联合熵和条件熵 • 联合熵：联合自信息量的统计平均。 • 条件熵：条件自信息量的统计平均 • 各类熵之间的关系：与各类自信息量之间的关 系对应。 2.5.1 联合熵 设联合概率空间为 [XY ,P ] [(x ,y ), P(x ,y ) | k 1,2 , ,K ;j 1,2 , ,J ] XY k j k j 联合符号(x , y ) 的先验不确定性称为联合自信息量 : k j 1 I (x , y ) log k 1 , 2 , ,K ; j 1 , 2 , ,J k j P (x , y ) k j 统计平均 联 K J 1 H (XY ) P (x , y ) log 合 k 1 j 1 k j P (x , y ) k j 熵 P (x , y ) log P(x , y ) k j k j k ,j H (XY ) XY 熵 的物理意义:信源 的平均不确定性。 2.5.2 条件熵 设联合概率空间为 [XY ,P ] [(x ,y ), P(x ,y ) | k 1,2 , ,K ;j 1,2 , ,J ] XY k j k j 条件自信息量 : 1 I (x | y ) log k 1 , 2 , ,K ; j 1 , 2 , ,J k j P (xk | yj ) 统计平均 K J H (X |Y ) P (x , y )I (x | y ) k j k j k 1 j 1 条 K J 1 P (x , y ) log 件 k j k 1 j 1 P (xk | y j ) 熵  P (x , y ) log P(x | y )