信息论基础复习题目精读.pptx

例2-1：有12个球，只有一个是非标重球，问是否存在用天平称3次必然找到该球的方法？(从信息的角度解决)解：天平的状态有三种：平衡、左轻、左重每称一次消除一种状态，则带来的信息量为log3则称3次后，带来的信息量为3log3=log27可见：信息的度量是为了找到解决问题的方法，而不是纯粹度量信息的大小设离散无记忆信源其发生的消息为：（202120130213001203210110321010021032011223210）求（1）此消息的自信息量。（2）在此消息中平均每个符号携带的信息量。例2-2解：（1）消息的自信息量就是等于消息中各个符号的自信息量之和。根据题意可得： 此消息中共有14个“0”符号，13个“1”符号，12个“2”符号，6个“3”符号，则得到的自信息量是：（2）此消息中平均每个符号携带的信息量为：原因：(2)问的值是该特定消息中平均每个符号携带的信息量，而信息熵是离散无记忆信源平均每个符号携带的信息量，是统计平均值。信源的信息熵:结论:(2)问的值与信源的信息熵不完全相等设在一正方形棋盘上共有64个方格，如果甲将一粒棋子随意放在棋盘中的某方格且让乙猜测棋子所在的位置所携带的信息量：（1）将方格按顺序编号，令乙猜测棋子所在方格的顺序号；（2）将方格分别按行和列编号，甲将棋子所在方格的行或列编号告诉乙之后，再令乙猜测棋子所在列或行的位置。例2-3：解：（1）令把棋子