信息论-第1章单符号离散信源.pptVIP

第1章 单符号离散信源 内容提要 1.1 信源的数学模型 1.2 信源符号的自信息量 1.3 信源的信息熵 1.1 信源的数学模型 信源 信源是信息的发源地，其输出称作消息。信源的数学模型用概率场描述 离散信源　 信源输出是离散的消息符号，用离散随机变量描述。最简单的离散信源（单符号）可用一维离散随机变量来描述的，其数学模型为 2. 连续信源　 信源输出为连续信号形式，可用连续随机变量来描述。最简单的连续信源可用一维连续随机变量来描述，其数学模型为 1.2 信源符号的自信息量 信息量＝不确定性的消除 信息量的特性 事件（消息）的信息量大小与其不确定度（概率）有关 事件概率越小，信息量越大 确定性事件的信息量为零，不可能事件的信息量为无穷大 信息量具有可加性 1.2.1 自信息量 自信息量 任意简单随机事件xi的发生概率为p(xi)，则自信息量为 自信息量的单位 以2为底： 比特（bit） (binary unit) 以e为底： 奈特（nat） (nature unit) 以10为底： 哈脱来（Hart） (Hartley) 换算关系： 1 nat ? 1.443 bit 1