第3讲——条件熵、联合熵及熵的性质.pptVIP

信源及其信息熵 得联合概率： p(x0y0) = p(x0) p(y0 |x0) = 2/3×3/4 = 1/2 p(x0y1) = p(x0) p(y1 |x0) = 0 p(x0y2) = p(x0) p(y2 |x0) = 2/3×1/4 = 1/6 p(x1y0) = p(x1) p(y0 |x1) = 0 p(x1y1) = p(x1) p(y1 |x1) = 1/3×1/2=1/6 p(x1y2) = p(x1) p(y2 |x1) = 1/3×1/2=1/6 联合熵H(XY) H(XY)＝H(X)＋H(Y|X)=1.8bit/符号 同理 p(x0 |y1)=0 ； p(x1 |y1)=1 p(x0 |y2)=1/2； p(x1 |y2)=1/2 对称性 可加性 例:有一个无记忆信源随机变量X∈(0,1),等概率分布,若以单个符号出现为一事件,则此时的信源熵: 例:有一离散平稳无记忆信源 由 p(ai,aj) = p(ai) p(aj| ai) 计算得联合概率p(ai aj)如表 H(X1,X2)表示平均每二个信源符号所携带的信息量, 那么平均每一个信源符号携带的信息量近似为: 对于有记忆