信息论第二章信息的度量.pptVIP

（1）由图2-8得 ，先算出p(xi yj)= q(xi)p(yj︱xi) （2）计算 得： （3） 计算后验概率，得： （4）计算各种熵及平均互信息量： 信源熵 信宿熵 联合熵 = -2 × 0.5 (1-ε) log 0.5(1-ε)-2 × 0.5εlog 0.5ε = log2 - (1-ε) log (1-ε)-εlogε = log2 + H 2 (ε) 式中： 2．2 离散集的平均自信息量 1．平均自信息量(熵) 无记忆信源的平均自信息量定义为各消息自信息量的概率加权平均值（统计平均值），即平均自信息量H(X)定义为： （2-15 ） H(X)的表达式与统计物理学中的热熵具有相类似的形式，在概