信息论中信源熵之间关系的证明.pdfVIP

信息论中有关各种熵之间关系的证明 ⒈基本定义 1.1信息就是对事物动态（或它的存在方式）的不确定性的一种描述不确定. 性及随机性，可以用研究随机现象的数学教具—概率论与随机过程来描述信息. 1.2自信息量：一个随机事件发生某一结果后所带来的信息量称为自信息量， 简称自信息.用I(a)来表示. i 1.3联合自信息量：自信息量是二维联合集XY上元素ab 的联合概率 i j p(ab)数的负值，称为联合自信息量.用I(ab)来表示. i j i j 1.4条件自信息量：为条件概率对数的负值.用I(a /b) 来表示. i j 1.5交互信息量： 后验概率与先验概率比值的对数为 对 的互信息量, a b a i j i 也称交互信息量(简称互信息).用I(a;b)来表示. i j 1.6信源熵：信源各个离散消息的自信息量的数学期望（即概率加权的统计 平均值）为信源的平均自信息量，一般称为信源的信息熵，也叫信源熵或香农熵， 记为H(X). 1.7条件熵：在联合符号集合XY上的条件自信息量的数学期望.可以用 H(X/Y)表示. 1.8联合熵：也叫共熵，是联和离散符号XY上的每的元素 的联合自信息 ab i j 量的数学期望，用H(XY)表示. 2．基本公式 2.1 自信息量：I(a)= −log p(a) i 2 i 2.2 联合的自信息量：I(ab) = −log p(ab) i j 2 i j 当X和Y相互独立时，p(ab) = p(a)p(b)；则有： i j i j I(ab) = −log p(ab) = −log p(a)p(b) = −log p(a)− log p(b) = I(a) + I(b) i j 2 i j 2 i j 2 i 2 j i j 2.3条件自信息量：I(a /b) = −log p(a /b) 或 I(b /a) = −log p(b /a) i j 2 i j j i 2 j i p(a /b) 2.4互信息量：I(a;b) = log i j (i=1,2,⋯,n; j=1,2,⋯,m) i j 2 p(a) i 1 n 2.5信源熵：H(X) = E[I(a)] = E[log ]= − p(a)log p(a) i 2