信息论与编码第二章 离散信源新.ppt

第二章 离散信源 提纲 信源的数学模型及分类 离散信源的自信息和信息熵 离散无记忆的扩展信源 离散平稳信源 马尔可夫信源 一 离散无记忆信源（续） 例1：掷骰子的结果作为信源消息，则就构成了一个这样的信源，其概率空间为： 例2：箱中有赤、橙、黄、青、兰、紫六种颜色的32只彩球，其中赤16球，澄8球，黄4球，青2球，蓝、紫各1球。有放回抽取： 例 2.2 离散信源的自信息和信息熵 针对离散信源进行 基本概念 样本空间：某一事物各种可能出现的不同状态，即所有可能选择的信息的集合 概率测度：对每个可能选择的信息指定一个概率（非负，总和为1） 概率空间：一个样本空间和他的概率测度 先验概率： 后验概率 自信息： 信息熵 概率空间 自信息 解决信息的度量问题 信源发出的消息是随机的。未接收之前，收信者对信源发出的消息是不确定的。消息传到收信者后，才消除了不确定性，获得了信息。 某一消息发出的不确定性越大，一旦发生，接收者消除的不确定性就越大，获得的信息也就越大。一般而言，收信者所获取的信息量，在数量上等于通信前后不确定性消除（减少）的量。 获取信息量 = 收信前对某事件发生的不确定性 - 该事件发生后仍然存在的不确定性 假设发送符号为ai,，接收符号为收bj。可以直观地把信息量定义为： 收到某消息bj后获得关于某事件ai发生的信息量 = 收到bj前、后对某事件ai存在的不确定性的消除 = 收信前关于某事件的不确定性（先验不定度）- 收信后关于某事件发生的不确定性（后验不定度） 注意 例1 一个布袋内放100个球，其中80个球是红色的，20个球是白色的，若随机摸取一个球，猜测其颜色，求平均摸取一次所能获得的自信息量。 解: 依据题意 这一随机事件的概率空间为 其中：x1表示摸出的球为红球事件，x2表示摸出的球是白球事件 . 如果摸出的是红球，则获得的信息量是 I（x1）= -log2p（x1）= - log20.8 bit 如果摸出的是白球，则获得的信息量是 I（x2）= -log2p（x2）= -log20.2 bit 说明： 信息熵 定义： 例1续 （3） 如果每次摸出一个球后又放回袋中，再进行下一次摸取。则如此摸取n次，红球出现的次数为np（x1）次，白球出现的次数为np（x2）次。随机摸取n次后总共所获得的信息量为 np（x1）I（x1）+np（x2）I（x2） 则平均随机摸取一次所获得的信息量为 H（X）= 1/n[np(x1)I(x1)+np(x2)I(x2)] = -[p(x1)log2p(x1)+p(x2)log2p(x2)] 例2 设甲地的天气预报为：晴(占4／8)、阴(占2／8)、大雨(占1／8)、小雨(占1／8)。又设乙地的天气预报为：晴 (占7／8)，小雨(占1／8)。试求两地天气预报各自提供的平均信息量。若甲地天气预报为两极端情况，一种是晴出现概率为1而其余为0。另一种是晴、阴、小雨、大雨出现的概率都相等为1／4。试求这两极端情况所提供的平均信息量。又试求乙地出现这两极端情况所提供的平均信息量。 解：甲地天气预报构成的信源空间为: 则其提供的平均信息量即信源的信息熵: 甲地极端情况 极端情况1：晴天概率＝1 乙地极端情况 极端情况1：晴天概率＝1 说明： 熵的基本性质 二进制信源是离散信源的一个特例。 该信源符号只有二个，设为“0”和“1”。符号输出的概率分别为“?”和“1- ?”，即信源的概率空间为： H(X) = -?log? –(1-?) log(1-?) =H(?) 例题 例4 例5 2.3 离散无记忆的扩展信源 当离散平稳无记忆信源发出固定长度的消息序列时，则得到原信源的扩展信源 。 例如在电报系统中，若信源输出的是二个二元数字组成的符号序列，此时可认为是一个新的信源，它由四个符号（00，01，10，11）组成，我们把该信源称为二元无记忆信源的二次扩展信源。 如果把N个二元数字组成一组，则信源等效成一个具有2N个符号的新信源，把它称为二元无记信源的N次扩展信源。 单符号离散信源X的数学模型： N次扩展信源与单符号离散信源比较：数学模型相同但输出不是单个符号，而是一串N个相互独立的符号序列： X＝(X1,X2,…, XN) ，联合分布密度P(X)=P(X1X2…XN) 把 X 等效为一个新信源，称为X的N次扩展信源，其数学模型： 例6 离散无记忆扩展信源的信息熵 例7 由于联合概率与条件概率有以下关系： 结论：对于平稳信源来说，其条件概率均与时间起点无关，只与关联长度N有关。即平稳信源发出的平稳随机序列前后的