信息论基础自信息量.pptVIP

〉 1）中国女子乒乓球队夺取亚运会冠军。 2）中国男子足球队夺取世界杯赛冠军。 信息的可度量性（1） 既然不确定性的大小能够度量，所以信息是可以度量的 某一事物状态的不确定性的大小，与该事物可能出现的不同状态数目以及各状态出现的概率大小有关 第25页，共48页，编辑于2022年，星期五 设有12枚同值硬币，其中有一枚为假币，且只知道假币的重量与真币的重量不同，但不知究竟是重还是轻。现采用天平比较左右两边轻重的方法来测量（因无砝码）。为了在天平上称出哪一枚是假币，试问至少必须称多少次？ 信息的可度量性（2） 第26页，共48页，编辑于2022年，星期五 讨论题 一般的方法是，在天平的两端各放一个 硬币：如果平衡，则都不是假币；如果不 平衡，则有一个是假币，再与别的任一硬 币比较。 第27页，共48页，编辑于2022年，星期五 将12枚硬币平分为3堆； 在天平的两端各放一堆：如果平衡，则假币在剩余一堆； 通过这步操作，可消除一些不确定性，获得一定的信息量： 存在的不确定性是 的函数： 前 存在的不确定性是 的函数： 后 讨论题 第28页，共48页，编辑于2022年，星期五 信息量的直观定义： 收到某消息获得的信息量 =不确定性减少的量 =（收到该消息前关于某事件的不确定性）- （收到该消息后关于某事件的不确定性） 事件的发生所提供的信息 讨论题 第29页，共48页，编辑于2022年，星期五 特殊情况： ① 发生概率为1的必然事件，无不确定性； ② 发生概率为0的不可能事件，确定性无限大 ③ 独立事件发生包含的信息量为各事件信息量的和。 信息的可度量性（3） 某事件发生所含有的信息量应是该事件发生先验概率的函数： xi的自信息 第30页，共48页，编辑于2022年，星期五 （3）当 时 （4）当 时 （5）两个独立事件的联合信息量应等于它们分别的信息量之和。 (2) 应是先验概率的单调递减函数，即当 时 根据客观事实和人们的习惯概念，应满足以下条件： 自信息 (1) 非负性： 第31页，共48页，编辑于2022年，星期五 根据上述条件可以从数学上证明这种函数形式是对数函数，即： 有两个含义： 1、当事件发生前，表示该事件发生的不确定性； 2、当事件发生后，标是该事件所提供的信息量． 自信息 第32页，共48页，编辑于2022年，星期五 自信息量的单位取决于对数所取的底，若以2为底，单位为比特，以e为底，单位为奈特，以10为底，单位为哈特,通常取比特为单位。 自信息 第33页，共48页，编辑于2022年，星期五 例题（1） 设有12枚同值硬币，其中有一枚为假币， 且只知道假币的重量与真币的重量不同， 但不知究竟是重还是轻。现采用天平比较 左右两边轻重的方法来测量（因无砝 码）。为了在天平上称出哪一枚是假币， 试问至少必须称多少次？ （用信息论方法证明） 第34页，共48页，编辑于2022年，星期五 第1页，共48页，编辑于2022年，星期五 （1）信息是可以识别的 （2）信息的载体是可以转换的 （3）信息是可以存贮的 （4）信息是可以传递的 （5）信息是可以加工的 （6）信息是可以共享的 信息具有以下特征 第2页，共48页，编辑于2022年，星期五 1.1 自信息 通信系统模型 信源的分类 概率论基础 信息的可度量性 自信息 熵 第3页，共48页，编辑于2022年，星期五 信源：产生消息和消息序列的来源。 通常信源的消息序列是随机发生的，因此要用随机变量来描述。 通信系统模型 第4页，共48页，编辑于2022年，星期五 编码器：把消息变换成适合于信道传输的信号。 信源编码器：将信源的输出进行适当的变换，以提高信息传输的有效性。 信道编码器：对信源编码器的输出进行变换，用增加多余度的方法提高信道的抗干扰能力，以提高信息传输的可靠性。 通信系统模型 第5页，共48页，编辑于2022年，星期五 调制器：将信道编码器输出的数字序列变换为振幅、频率或相位受到调制控制的形式，以适合在信道中进行较长距离的传输。 通信系统模型 第6页，共48页，编辑于2022年，星期五 解调器：从载波中提取信号，是调制的逆过程 MODEM 通信系统模型 第7页，共48页，编辑于2022年，星期五 信道：信号由发送端传输到接收端的媒介。 典型的传输信道有电缆、高频无线信道光纤通道等；典型的存储媒介有磁芯、磁盘、磁带等。 通信系统模型 第8页，共48页，编辑于2022年，星期五 干扰源：对传输信道或存储媒介构成