(45)--【讲稿-PPT】3.3 后验概率与单符号互信息量关系的进一步讨论.ppt

3.3后验概率与单符号互信息量关系的进一步讨论

互信息量等于后验概率与先验概率比值的对数，即：?

后验概率与单符号互信息量关系的进一步讨论在信息理论中，我们总是认为先验概率是先验已知或事先测定的。所以（3-13）表明互信息量实际上取决于信道统计特性决定的后验概率。后验概率P(ai/bj)具有概率的一般特性（3-13）

后验概率与单符号互信息量关系的进一步讨论（3-26）这表明当后验概率P(ai/bj)=1时：收到bj即可确切无误地收到输入符号ai。消除了对ai的全部不确定度，从bj中获取了ai本身所含有的全部信息量，即ai的自信息量I(ai)。?

后验概率与单符号互信息量关系的进一步讨论这表明当后验概率大于先验概率时：收到bj后推测信源发ai的概率大于收到bj前推测信源发ai的概率。收到bj后判断信源发ai的可能性大于收到bj前判断信源发ai的可能性。收到bj后对信源发ai的不确定度小于收到bj前对信源发ai的不确定度。（3-27）(2)若P(ai)P(ai/bj)1,后验概率P(ai/bj)大于先验概率P(ai),由（3-13）式，得

后验概率与单符号互信息量关系的进一步讨论这表明当后验概率P(ai/bj)等于先验概率P(ai)时：收到bj后对信源发ai的不确定度等于收到bj前对信源发ai的不确定度。收到bj后并没有减少对信源发ai的不确定度，从bj中不能获取关于ai的信息量。（3-28）

后验概率与单符号互信息量关系的进一步讨论当P(ai)=P(ai/bj)时，有P(aibj)=P(bj)P(ai/bj)=P(ai)P(bj)输入符号ai和输出符号bj统计独立。输出符号bj与输入符号ai之间没有任何联系，完全是互不相关的两码事。显然，在这种情况下，ai和bj之间的互信息量应该等于零。（3-28）

后验概率与单符号互信息量关系的进一步讨论这表明：收到bj后对信源发ai的不确定度反而大于收到bj前对信源发ai的不确定度。符号bj的接收，非但没有减少对信源发ai的不确定度，反而增加了这种不确定度，使得互信息量小于零。（3-29）