离散信源及其信息测度课件.pptxVIP

离散信源及其信息测度 第一节 信源的数学模型及分类 在通信系统中，收信者在未收到信息以前，对信源发出什么样的消息是不确定的，是随机的，所以可以用随机变量、随机矢量或随机过程来描述信源输出的消息，或者说用一个样本空间及其概率测度来描述信源。 不同的信源根据其输出消息的不同的随机性质进行分类。 第一节 信源的数学模型及分类1、离散信源 数学模型如下： 集合X中，包含该信源包含的所有可能输出的消息，集合P中包含对应消息的概率密度，各个消息的输出概率总和应该为1。 例：天气预报 第一节 信源的数学模型及分类2、连续信源 数学，模型如下： 每次只输出一个消息，但消息的可能数目是无穷多个。 例：电压、温度等。 第二节 离散信源的信息熵1、自信息 我们认为，一个字符它所携带的信息量是和该字符出现的概率有关，概率可以表征自信息量的大小 根据客观事实和人们的习惯概念，应满足以下条件: 第二节 离散信源的信息熵（2）当时（3）当 时（4）两个独立事件的联合信息量应等于它们分别的信息量之和。(1) 应是先验概率的单调递减函数，即当 时 第二节 离散信源的信息熵 根据上述条件可以从数学上证明这种函数形式是对数函数，即： 有两