第2章 信源和熵.ppt

第2章 信源和熵 如果信源输出的消息是预先知道的，那么，该消息就不含信息； 如果信源输出的消息是我们不确定的，则该消息就含有信息。 2.1 信源的模型 如果信源的事件、符号或样本空间用X表示，它们对应的概率用p(x)表示，那么，该信源可以用X和p(x)的组合构成概率空间来描述，即 这就是一个不确定事件的数学模型。 从电信号的角度来看，信源可以分为两大类：离散信源和连续信源。 离散信源的样本在时间上和幅度上都是离散的。 连续信源的样本在时间上和幅度上都是连续的。 离散信源的家族关系： 离散无记忆信源（单符号无记忆信源和多符号无记忆信源）， 离散有记忆信源（多符号有记忆信源和多符号马尔可夫信源）。 连续信源的家族关系： 一维连续信源， 多维连续信源。 2.2 离散信源的熵 一般来说，信息是指事件的不确定性。 从通信的角度来说，信息就是符号是否被发送出去的不确定性。 例如1：符号a是否发生的不确定性等于 它反映符号a自身所包含的信息，或者是a发生后对外界产生的影响。 例2.2.1 例2.2.2 例如2：接收端获得符号b后，对发射端送出符号是不是a的疑惑为 它表示事件(a|b)所包含的条件信息。 例如3：我们在接收端获得符号b后，获得对发射端送出符号a的了解为 它反映了通信系统传送的信息，叫互信息。 信源的不确定性或信息量用数学期望来衡量， 它反映的是信源