信息论chapt12ppt课件.pptVIP

信息论基础 Information theory;Why this book? authority ,better than most of domestic ones. No good translation ;这本教材的特点;信息论回答了通信中的二个问题;信息论回答了通信中的二个问题;信息论与其他学科的关系;信息论与其他学科的关系;信息论与其他学科的关系;教材;信息论的奠基人(Shannon);;Chapter 1 Introduction;Chapter 1 Introduction;Chapter 1 Introduction;Chapter 1 Introduction;Chapter 1 Introduction;认证性(authentication): 接收者能正确判断所接受消息的正确性与完整性。;Chapter 1 Introduction;;信息论与编码的关系;Chapter 2 Information measure;Chapter 2 Information measure;2.1.1 自信息量; 密码锁上的数字可组成 108 种8位可重复数字排列，随机拨出一种与密码相吻合的8位数字的概率为1/108 。故有，事件“试探1次就将锁打开” 的信息量为：; 抛掷2枚硬币可能出现情况有(设0为正面，1为反面)： （0，0），（0，1），（1，0），（1，1） 故有：; 假设在由0、1组成的符号序列中， 1 、 0 的出现概率分别为1/4、3/4，试求由8个符号组成的序列中，某特定符号序列X一事件所含的信息量。;2.1.2 条件自信息量;2.1.2 条件自信息量;2.1.3 互信息量;Example 2.7; 将p(x1)=0.6，p(x2)=0.4，p(y3/x1)=0.2，p(y3/x2)=0.1代入上式，可得： ;2、互信息量的基本性质;若后验概率p(x/y)＞先验概率p(x)，则有I(x; y)＞0。意味着接收到y之后，消除了对x的部分疑惑（不确定性）。 若后验概率p(x/y)≤先验概率p(x)，则有I(x; y)≤0。意味着接收到y 之后, 对x 的疑惑不仅没有减少，反而增加了(由于噪声干扰缘故)。;2.1.4 条件互信息量 ;可见，I(xi; yjzk)(在一对事件{yjzk}出现后所提供的有关xi 的信息量)也等于: [yj 出现后所提供的关于xi 的信息量 I(x; y) ] + [在给定yj 条件下出现zk 后所提供的关于xi 的信息量 I(xi; zk /yj )];Chapter 2 Information measure;2.2.1 熵;Chapter 2 Information measure;2.2.2 熵的基本性质 ;Chapter 2 Information measure;2.2.2 熵的基本性质 ;Chapter 2 Information measure;2.2 离散集的熵;2.2.5 熵、共熵、条件熵之间的关系;Chapter 2 Information measure;2.2.5 熵、共熵、条件熵之间的关系;2.3 离散集的平均互信息量（mutual information） ;2.3.2 平均互信??量;Chapter 2 Information measure;Chapter 2 Information measure;Exercise 2. 8