差错控制编码第2章信息的统计度量.pptVIP

两事件间的互信息量 I(xi ; yj)：收到消息yj 后获得关于xi的信息量 对于无损信道，有 I(X;Y) = H(X) = H(Y) = H(XY) H(X/Y)=H(Y/X)=0 对于全损信道，有 I(X; Y) = 0 H(X/Y)=H(X)； H(Y/X)=H(Y) 各类熵与集合图的类比 各种熵之间的关系 定理2.1 对于固定的信道，平均互信息I(X;Y)是信源概率分布p(x)的上凸函数 这就是说，对于一定的信道转移概率分布p(y|x)，总可以找到某一个先验概率分布的信源X，使平均交互信息量I(X;Y)达到相应的最大值Imax，这时称这个信源为该信道的匹配信源。可以说，不同的信道转移概率对应不同的Imax。 信宿 信道 信源 通信系统的简化模型 噪声 例：对于二元对称信道 如果信源分布X={p,1-p}，则 q q 1 0 Y X 而： 所以： 当信道固定时，q为一个固定常数，平均互信息是信源分布的上凸函数，最大只为1-H(q)。图示曲线表明，对于固定信道，输入符号X的概率分布不同时，在接收端平均每个符号所获得的信息量就不同。当输入符号为等概率分布时，平均互信息量为最大值，接收每个符号所获得的信息量最大。信道容量的理论基础 1-H(q) 0 0.5 1 p I(X;