2.2 熵函数的性质、随机变量序列的熵率.pptVIP

性质： 1、对称性： H(P) 的取值与分量 p1, p2 , ··· , pq的顺序无关。 一个例子： 2、确定性：H(1,0)=H(1,0,0)=H(1,0,0…,0)=0 性质说明：这个信源是一个确知信源，其熵等于零。 3、非负性： H(P) ? 0 说明： 这种非负性合适于离散信源的熵，对连续信源来说这一性质并不存在。以后可看到在相对熵的概念下，可能出现负值。 5、 可加性 唯一性 香农指出，存在这样的不确定性的度量，它是概率 分布 的函数 ，且该函数应满足： 对称性 极值性 可加性 扩展性 它的形式是唯一的。 复习 熵 条件熵 半条件熵 联合熵 复习 链式法则 复习 熵函数的性质H(p1,p2,…, pn) 对称性 非负性 极值性 连续性 扩展性 可加性 二进制信源是离散信源的一个特例 该信源符号只有二个，设为“0”和“1”。符号输出的概率分别为“?”和“1- ?”，即信源的概率空间为： H(X) = -?log? –(1-?) log(1-?) =H(?) 离散平稳信源 对于随