信息论第四讲.docVIP

2.2 重要定理 2.2.1 链式法则 从定理2.1，我们得到：和，并解释说它们是熵的链式法则在两个随机变量情况下的特例。现在，我们来看它的一般形式，即针对一组随机变量的情况。 世界上有很多事情取决于多种因素，这时就可以看作多个随机变量共同决定了事情的不确定性。 定理2.3（熵的链式法则）设随机变量服从联合分布，则 (2-36) 证明 根据式(2-15)，可以把等式左边写成 左边= =右边 在证明过程中，我们没有使用联合概率分布，如果使用之，同样可以证明这个定理。 可以从物理概念上对上述定理加以解释：多随机变量的联合熵是多个事件同时发生的不确定性，它应该等于事件的不确定性与已出现的情况下其它事件同时发生的不确定性之和，而后者是已出现的前提下事件的不确定性，与、已出现的情况下其它事件同时发生的不确定性之和，依此类推。 这个定理告诉我们一个重要的结论：多随机变量的联合熵等于条件熵之和。； 如果多个事件互相独立，问题就变得更简单了。例如，我们班上有n个同学，每人的学习成绩是[0，100]间的随机数，用随机变量表示。根据上述定理，全班成绩的不确定性为，是条件熵之和，但是由于大家的成绩相互独立，全班成绩的不确定性只由每人成绩不确定性之和决定，即为。 定理2.4（平均互信息的链式法则） (2-37) 此式的左边是多个事件能给另一事件提供的