西安电子科技大学信息论与编码理论（专题讨论型）课件第二章 离散信源的数学模型及其信息测度.pptVIP

一个二进信源X发出符号集{0,1},经过离散无记忆信道传输,信道输出用Y表示.由于信道中存在噪声,接收端除收到0和1的符号外,还有不确定符号“2” 已知X的先验概率: p(x0)=2/3, p(x1)= 1/3, 符号转移概率： p(y0|x0)=3/4, p(y2|x0)=1/4 p(y1|x1)=1/2, p(y2|x1)=1/2， X Y 0 1 0 1 2 3/4 1/2 1/2 1/4 信源熵H(X) 例 题 得联合概率： p(x0y0) = p(x0) p(y0 |x0) = 2/3×3/4 = 1/2 p(x0y1) = p(x0) p(y1 |x0) = 0 p(x0y2) = p(x0) p(y2 |x0) = 2/3×1/4 = 1/6 p(x1y0) = p(x1) p(y0 |x1) = 0 p(x1y1) = p(x1) p(y1 |x1) = 1/3×1/2=1/6 p(x1y2) = p(x1) p(y2 |x1) = 1/3×1/2=1/6 由 例 题 条件熵H(Y|X) X Y 0 1 0 1 2 3/4 1/2 1/2 1/4 联合熵H(XY) H(XY)＝H(X)＋H(Y|X)=1.8bit 得 p(y0) =∑ p(xiy0) = p(x0y0) +p(x1y0) =1/2+0 = 1/2 p(y1) =∑ p(xiy1) = p(x0y1) +p(x1y1) = 0+1/6 =1/6 p(y2) =∑ p(xiy2) = p(x0y2) +p(x1y2) = 1/6+1/6=1/3 由 例 题 信源输出熵H(Y) 由 得 同理 p(x0 |y1)=0 ； p(x1 |y1)=1 p(x0 |y2)=1/2； p(x1 |y2)=1/2 条件熵H(X|Y) 例 题 或 H(X|Y)= H(XY)-H(Y)=1.8-1047=0.33bit 24个硬币中有一个重量偏轻，其它23个为标准重量。在不用砝码的天平上至少称多少次，就能发现这个轻的硬币？怎样称？用天平秤的信息论含义是什么？ 思考: 本节小结 信源的数学模型 信源熵（信息熵） 随机变量、随机序列 随机过程 定义：自信息的数学期望 含义：两种解释 与联合熵、条件熵之间的关系 （本节内容见课本10-20页） 作业 2.9 2.13 2.14 2.18（前三个不等式证明） 本节小结 信源的数学模型 信源熵（信息熵） 随机变量、随机序列 随机过程 定义：自信息的数学期望 含义：两种解释 与联合熵、条件熵之间的关系 （本节内容见课本10-20页） * 离散信源的数学模型及其信息测度(Ⅰ) 第二讲 输入 消息 码字 输出 消息先 验概率 消息后验概率 收到0 收到01 收到011 x1 x2 x3 x4 x5 x6 x7 x8 000 001 010 011 100 101 110 111 1/8 1/8 1/8 1/8 1/8 1/8 1/8 1/8 1/4 1/4 1/4 1/4 0 0 0 0 0 0 1/2 1/2 0 0 0 0 0 0 0 1 0 0 0 0 Review √ √ √ √ × × × × × × √ √ × × × × × × × √ × × × × 设某系统的输入空间为X={x1, x2}，分别以二元数字 组000和111表示。若系统变换过程中的转移概率为 p(0|0)=p(1|1)=1-p，p(1|0)=p(0|1)=p，则不难算出当 观察到输出数字为010的过程中输入消息x1和x2的后 验概率变化，如表所示。 输入消息 码字(输出) 消息先验概率 消息后验概率 收到 0后 收到01后 收到010后 x1 x2 000 111 1/2 1/2 Review 1-p 1/2 1-p p 1/2 p 信源 信道 信宿 噪声源 编码器 译码器 消息 干扰 信号＋干扰 消息 数字通信系统模型 可靠性、有效性、保密性和认证性 Review 离散信源的数学模型及信息测度 信源的数学描述 通信系统中收信者在未收到消息以前对信源发出什么消息是不确定的,是随机的，所以可用随机变量、随机序列或随机过程来描述信源输出的消息,或者说用一个样本空间及其概率测度—概率空间来描述信源。 不同的信源输出的消息的随机性质不同，可以根据消息的不同的随机性质来对信源进行分类： 按照某时刻信源输