第二章 信源和其信息量.pdfVIP

第2章离散信源及其信息熵 内容提要： 根据香农对于信息的定义，信息是一个系 统不确定性的度量，尤其在通信系统中， 研究的是信息的处理、传输和存储，所以 对于信息的定量计算是非常重要的。本章 主要研究离散信源下各种信息的定量计算 ，讨论它们的性质和相互关系。 2.1 信源基本分类及其数学模型 在通信系统中，收信者在未收到信息以前， 对信源发出什么样的消息是不确定的，是随机的， 所以可以用随机变量、随机矢量或随机过程来描 述信源输出的消息，或者说用一个样本空间及其 概率测度来描述信源。 不同的信源根据其输出消息的不同的随机性 质进行分类。 1、离散信源 数学模型如下： X a a ... x  q   1 2 q     p i 1 P p p ... p    1 2 n  i 1 集合X 中，包含该信源包含的所有可能输出 的消息，集合P中包含对应消息的概率密度，各 个消息的输出概率总和应该为1。 例：天气预报 无记忆信源X 的各时刻取值相互独立。 有记忆信源X 的各时刻取值互相有关联。 2、连续信源 数学模型如下： X (a ,b )     b      p (x )dx 1 p (x ) p (x ) a     每次只输出一个消息，但消息的可能数目是无穷 多个。 例：电压、温度等。 2.2 离散信源及其信息量  2.2.1.自信息量 针对信源X某一单个消息或符号 ai I (a )log p (a ) i i 【例2.1】若盒中有6个电阻，阻值为1Ω 、2Ω 、3Ω 的分别 为2个、1个、3个，将从盒子中取出阻值为iΩ的电阻记为事 件x i （i = 1，2 ，3 ），则事件集X = {x , x , x }，其概率 1 2 3 分布  X  x1 x 2 x3    1 1 1 q(X ) 3 6 2  计算出各事件的自信息量列表2-1如下： 消息xi x 1 x2 x3 概率分布q (x ) 1/3 1/6 1/2 i 自信息量I (x ) log 3 log 6 log 2 i 自信息量I (a )代表两种含义： i 1.事件a 发生以前，表示事件发生的先验不确定