差错控制编码第2章 信息统计度量.ppt

两事件间的互信息量 I(xi ; yj)：收到消息yj 后获得关于xi的信息量 对于无损信道，有 I(X;Y) = H(X) = H(Y) = H(XY) H(X/Y)=H(Y/X)=0 对于全损信道，有 I(X; Y) = 0 H(X/Y)=H(X)； H(Y/X)=H(Y) 各类熵与集合图的类比 各种熵之间的关系 定理2.1 对于固定的信道，平均互信息I(X;Y)是信源概率分布p(x)的上凸函数 这就是说，对于一定的信道转移概率分布p(y|x)，总可以找到某一个先验概率分布的信源X，使平均交互信息量I(X;Y)达到相应的最大值Imax，这时称这个信源为该信道的匹配信源。可以说，不同的信道转移概率对应不同的Imax。 信宿 信道 信源 通信系统的简化模型 噪声 例：对于二元对称信道 如果信源分布X={p,1-p}，则 q q 1 0 Y X 而： 所以： 当信道固定时，q为一个固定常数，平均互信息是信源分布的上凸函数，最大只为1-H(q)。图示曲线表明，对于固定信道，输入符号X的概率分布不同时，在接收端平均每个符号所获得的信息量就不同。当输入符号为等概率分布时，平均互信息量为最大值，接收每个符号所获得的信息量最大。信道容量的理论基础 1-H(q) 0 0.5 1 p I(X;Y) 定理2.2 对于固定的信源，平均互信息I(X;Y)信道传递概率分布p(y|x)的下凸函数 这就是说，对于一个已知先验概率为p的离散信源，总可以找到某一个转移概率分布的信道q，使平均互信息量达到相应的最小值Imin。 信宿 信道 信源 通信系统的简化模型 噪声 例：对于二元对称信道 当信源固定后，p为一个固定常数，改变信道特性q可获得不同的平均互信息I(X;Y)。当q=1/2时，I(X;Y)=0,即在信道输出端获得的信息最小，这意味着信源的信息全部损失在信道中，这是一种最差的信道，其噪声最大。信息率失真理论的基础。 q q 1 0 Y X 0 0.5 1 q H(p) I(X;Y) H(X) H(Y) H(X|Y) H(Y|X) I(X;Y) H(X,Y) A B A∩B’ A’∩B A∩B A∪B 无 条 件 熵 交 互 熵 联 合 熵 条 件 熵 条 件 熵 图 示 关 系 符号 名称 2.3.2 熵函数的数学特性 对称性 非负性 确定性 扩展性 可加性 极值性 上凸性 熵函数的数学特性1对称性 集合中各分量的次序任意变更时，熵值（平均自信息量）不变 从熵（平均自信息量）的公式上来看，该结论是明显的 深层含义：熵是有局限性的。它仅与随机变量的总体结构有关，抹煞了个体的特性。 例2-7 “加权熵” 晴 多云 雨 冰雹 A地 1/2 1/4 1/8 1/8 B地 1/2 1/8 1/8 1/4 加权熵 晴 多云 雨 冰雹 A地 1/2 1/4 1/8 1/8 B地 1/2 1/8 1/8 1/4 权重 1 1 1 2 例2-8 熵函数的数学特性2非负性 H(X)≥0 源于自信息量的非负性。 什么时候为0：有且仅有一个pi=1，其余的pi=0，即确定事件集。 熵函数的数学特性3确定性 集合中只要有一个事件为必然事件，则其余事件为不可能事件，熵为0。 H(1,0)=H(1,0,0)=…=H(1,0,…,0)=0 熵函数的数学特性4扩展性 集合X有q个事件，集合Y比X仅仅是多了一个概率接近0的事件，则两个集合的熵值一样。 证明： 含义： 集合中，一个事件发生的概率比其它事件发生的概率小得多时，这个事件对于集合的熵值的贡献可以忽略。 即在研究这个集合的时候，该小概率事件可以不用考虑 熵函数的数学特性5可加性 H(X, Y) = H(X) + H(Y|X) 当X、Y相互独立时， H(X, Y) = H(X)+H(Y) 熵函数的数学特性6极值性 各事件等概率发生时，熵最大。 最大熵定理 例子 X={x1, x2}: p(x1)=p, p(x2)=1-p H(X)=-plogp-(1-p)log(1-p) X={x1, x2 , x3}: p(x1)=p1, p(x2)=p2, p(x3)=1-p1-p2 H(X)=-p1logp1-p2logp2-(1-p1-p2)log(1-p1-p2) 熵函数的数学特性7上凸性 H(p1,p2,…,pq)是概率分布(p1,p2,…,pq)的严格上凸函数 如果 f[?X1+(1-?)X2] ? ?f(X1)+