信息论中有关信源熵的不等式.docVIP

信息论中有关各种熵之间关系的证明 07信息班 周艳君 20071115158 指导老师 王桂霞 摘 要 根据信息量与熵的定义和重要定理以及主要公式，对各种熵之间的关系进行分析和证明. 关键词 无条件熵 条件熵 联合熵 交互熵. ⒈基本定义 1.1信息就是对事物动态（或它的存在方式）的不确定性的一种描述.不确定 性及随机性，可以用研究随机现象的数学教具—概率论与随机过程来描述信息. 1.2自信息量：一个随机事件发生某一结果后所带来的信息量称为自信息量，简称自信息.用来表示. 1.3联合自信息量：自信息量是二维联合集上元素的联合概率 数的负值，称为联合自信息量.用来表示. 1.4条件自信息量：为条件概率对数的负值.用来表示. 1.5交互信息量：后验概率与先验概率比值的对数为对的互信息量, 也称交互信息量(简称互信息).用来表示. 1.6信源熵：信源各个离散消息的自信息量的数学期望（即概率加权的统计 平均值）为信源的平均自信息量，一般称为信源的信息熵，也叫信源熵或香农熵，记为. 1.7条件熵：在联合符号集合上的条件自信息量的数学期望.可以用 表示. 1.8联合熵：也叫共熵，是联和离散符号上的每的元素的联合自信息量的数学期望，用表示. 2．基本公式 2.1 自信息量： 2.2 联合的自信息量： 当和相互独立时，；则有： 2.3条件自信息量： 或 2.4互信息量： 2.5信源熵： 2.6条件熵：ⅰ：在已知随机变量的条件下，随机变量的条件熵为： . ⅱ：在已知随机变量的条件下，随机变量的条件熵为： . 2.7联合熵：. 2.8有关概率的基本公式：，，， ，，,，. 3.各种熵之间的关系 3.1无条件熵 3.1.2 . 证明：① . ② . 由熵的极值性知： , 其中 . 同理： . 3.1.2. . 证明： , 同理：. 3.2条件熵 . 3.2.1 . 证明： , 其中：. 3.2.2 . 证明： , 其中： . 同理：. 3.3联合熵 . 3.3.1 . 证明： , 其中：. 同理： . 3.3.2 . 证明： . 3.3.3 . 证明： 3.4交互熵 . 3.4.1 证明： , 其中：. 同理：. 3.4.2证明: . 3.4.3证明： . 其中：，. 参考文献 [1]傅祖芸，赵建中.信息论与编码.电子工业出版社,2006,4. [2]邓稼先，康耀红.信息论与编码.西安电子科技大学出版社,2007,5. [3]陈运.信息论与编码.电子工业出版社,2007,12. [4]贾世楼.信息论理论基础. 哈尔滨工业大学出版社,2002,6.