信息论第二章.ppt

* * 结论： 在实际通信系统中，为了提高传输效率，往往需要把信源的大量冗余进行压缩，即所谓信源编码。但是考虑通信中的抗干扰问题，则需要信源具有一定的冗余度。因此在传输之前通常加人某些特殊的冗余度，即所谓信道编码，以达到通信系统理想的传输有效性和可靠性。 * * 1、自信息量、离散信源熵、条件熵、联合 熵的概念及计算 。 本 节 重 点 本 节 难 点 1、熵的概念。 * * 作业 1、P29-2.2 2、P29-2.4 * * 当前后符号无依存关系时，有下列推论： H（X1 X2）＝H（X1）＋H（X2） H（X1）= H（X1／X2） H（X2）= H（X2／X1） * * 由有限个有记忆序列信源符号组成的序列 * * 平均每个符号的熵为  这一结论与离散无记忆信源结论一致。无记忆信源是上述有记忆信源的一个特例。 * * 离散平稳序列信源 时间不变性:联合概率具有时间推移不变性： p{Xi1=x1,Xi2=x2,…….,XiL=xL} = p{Xi1+h=x1,Xx2+h=x2,……,XiL+h=xL } 平稳信源发出的符号序列的概率分布和时间起点无关。 * * * * 说明: (i) 如何计算极限熵是一个十分困难的问题. (ii) 在实际应用中常取有限L下的条件熵 H(XL /XL-1)作为H∞ (X)的近似值。 (iii) 当平稳离散信源输出序列的相关性随着L的增加 迅速减小时，其序列熵的增加量H(XL /XL-1)与相关性有关。 * * 离散马氏链信源 平稳信源的m阶马尔可夫信源： 信源发出的符号只与前面的m个符号有关，而与更前面出现的符号无关。 用概率意义表达为: p(xt/xt-1,xt-2,xt-3,…,xt-m,…)=p(xt/xt-1,xt-2,…xt-m) * * * * * * 状态转移描述 对于m阶马尔可夫信源 * * 在某一时刻（m＋1），信源符号出现的概率，仅与前面已出现的m个符号有关，而与更前面出现的符号无关。可通过引人状态转移概率，从而转化为马尔可夫链，即令 * * 状态转移概率表示 : pij(m,n)=p{Sn=sj/Sm=si}=p{sj/si} si,sj S 状态转移概率p(sj/si)由信源符号条件概率p(xj/si)确定。 * * 两个基本转移概率性质: * * 如何确定平稳分布的 Wj＝p(Sk=sj) ? 其中, Wi和Wj均为稳态分布概率 . * * 分析: … …… * * … …… * * * * 所以 有非零解W1,W2,…,WQ。 * * 马氏链的可约性 马氏链可约性: 若对所有 k，都有p(k)ij=0，就意味着一旦出现 Si以后不可能到达Sj, 也就是不能各态遍历，或者状态中应把Sj取消，这样就成为可约的了。 马氏链不可约性: 对任意一对i和j，都存在至少一个k使p(k)ij＞0，这就是说从Si开始，总有可能到达 Sj. * * 香农线图 S1 S3 S2 1/2 1/2 1/2 1/2 1 S4 S5 1/2 1/2 可约马氏链 1/2 1/2 * * 注意: (1)S1,S2,S3是三种状态，箭头是指从一个状态转移到另一个状态，旁边的数字代表转移概率。这就是香农提出的马尔可夫状态图，也叫香农线图。 (2)由状态S3转移到S1的转移概率p(k)31=0，因为一进人状态S3就一直继续下去，而不会再转移到其他状态。P(k)41=0也是明显的，因S4和S1之间没有连接箭头，因此这种链就是可约的。 * * 马氏链周期性 非周期性，就是所有p(n)ii＞0的n中没有比1大的公因子。 S1 S4 S2 1/2 1/2 1/2 周期性马氏链 S3 1/2 1/2 1/2 1/2 1/2 1/2 * * 为使马氏链最后稳定，成为遍历的马氏链，还必须有不可约性和非周期性。 遍历性的直观意义是，不论质点从哪一个状态si出发，当转移步数k足够大时，转移到状态sj的概率都近似等于某个常数Wj。 * * 例2-4-3 有一个二阶马氏链X (0,1),其符号条件概率为表1，状态变量S （00，01，10，11），则可得到状态转移概率。