信息论与编码2012.ppt

* * 信息论与编码基础 离散信源 对于一般离散平稳信源， 有如下性质： 1）条件熵 随N的增加是非递增的，即 证明 H(XN|X1X2…XN-1)≤H(XN|X2…XN-1) = H(XN-1|X1…XN-2) 平稳性 ≤H(XN-1|X2…XN-2) = H(XN-2|X1…XN-3) ≤H(X2|X1) ≤H(X1) 信息论与编码基础 离散信源 2）N给定时，平均符号熵大于等于条件熵，即： 证明 由于 HN(X) = H(X1X2…XN)/N = [H(X1) + H(X2|X1) +… + H(XN|X1X2…XN-1)]/N 熵的强可加性 ≥ NH(XN|X1X2…XN-1)/N = H(XN|X1X2…XN-1) 3）平均符号熵随N的增加而非递增，即： 信息论与编码基础 离散信源 证明 由于 HN(X) = H(X1X2…XN)/N = [H(X1X2…XN-1) + Ｈ(XN|X1X2…XN-1)]/N = [(N-1)HN-1(X) + Ｈ(XN|X1X2…XN-1)]/N 可得 HN(X) ≤ [(N-1)HN-1(X) + ＨN(X)]/N HN(X) ≤ HN-1(X) 考虑的相关性越多，平均不确定性越小 信息论与编码基础 离散信源 4） 存在，并且： 极限熵 证明 由于 HN(X) ≤ HN-1(X) 有 0≤ HN(X) ≤ H