第二章信息的度量1.pptVIP

第二章信息的度量 信息的概念 信息是信息论中最基本、最重要的概念，它是一个既存在广泛又抽象的概念； 广泛性 客观世界充满信息 人类离不开信息 知识、书本是有用信息的积累 抽象性 信息不等同与“消息”、“信号”、“情报”、“知识”和“数据”等 小结----理解信息的概念 信息---事物运动状态或存在方式的不确定性的描述。 狭义信息论：又称香农信息论。主要通过数学描述与定理分析，研究通信系统从信源到信宿的全过程 信息的度量 信道容量 信源和信道编码理论等问题。 通信系统模型 香农将各种通信系统概括成通信系统模型： 信源 信源---信息的来源，是产生消息或消息序列的源泉 按照消息的取值集合的离散性和连续性 离散信源---输出的消息是有限的，可数的，可以用一维离散型随机变量来描述。 如筛子的点数、碱基种类、氨基酸的种类、选修课成绩 连续信源---信源符号集的取值是连续的，可以用一维连续型随机变量来描述。 如：说话的内容是离散的,说话的分贝是连续的. 由于计算机是离散的，我们重点讨论离散信源 某时刻，信源发出的消息（事件）具有不确定性 概率知识回顾 在一定条件下可能出现也可能不出现的现象 称为随机现象. ?随机现象揭示了条件和结果之间的不确定性，其数量关系无法用函数加以描述， 在一次观察中出现什么结果具有偶然性，但是通过大量试验，结果具有一定的统计规律性 。 （掷骰子） 随机现象是通过随机试验来研究的. 概率知识回顾 随机试验，通常用 E 表示，对自然现象的观察和进行一次科学实验。在相同条件下 可重复进行 试验的结果不止一个，每次试验总是恰好出现这些可能结果中的一个，但在一次试验之前其结果无法确知 在大量重复试验或观察中呈现出某种统计规律性的现象 例如：重复摸球试验、掷骰子、参加一次英语考试的试验 概率知识回顾 基本事件，常用e, ω来表示 对一个试验来说，我们把其最简单的不能再分的事件称为该事件的基本事件 样本空间---用Ω表示，一个试验所有基本事件组成的集合，称为该试验的样本空间 随机事件---随机试验的每个可能的结果 是基本事件集的子集，简称事件 概率测度（概率），用P表示，刻画事件发生可能性大小的数量指标 非负性（P（X）=0）、完备性(P（Ω）=1) 2.1自信息和互信息 2.1.1自信息 自信息（量）:一个消息xi （事件）本身所包含的信息量，由事件的不确定性决定，记为I(xi)。 某事件xi发生所提供的信息量I(xi)应该是该事件发生的先验概率p(xi)的函数: 2.1.1 自信息 某消息xi的自信息，可用该消息出现的概率的对数的负值来表示： p(xi)为消息的先验概率 底数为2时，常把2省略 自信息量的单位：若这里的对数底取2，则单位为比特（bit,binary unit) P(x)=1/2时，I(x)=1bit。即概率为1/2的事件具有1bit信息量 由于在计算机上是二进制(binary digit)，我们一般都采用比特。 计算自信息量的例子 自信息I(xi)的含义 在事件发生以前，等于事件xi发生的不确定性的大小; 在事件发生以后，表示事件xi所含有或最大能给收信者提供的信息量。 通过无噪信道传输后，收信者（信宿）对事件xi消除的不确定性的大小，即获得的信息量的大小 例题4 （1）假设英文字母中“a”出现的概率为0.064，“c”出现的概率为0.022，分别计算他们的自信息量。 （2）假定前后字母出现是互相独立的，计算消息“ac”的自信息。 （3）假定前后字母出现不是互相独立的，当“a”出现以后， “c”出现的概率为0.04，计算“a”出现以后， “c”出现的自信息量。 （1）英文字母中“a”出现的概率为0.064，“c”出现的概率为0.022，分别计算他们的自信息量。 解： （1） （2）假定前后字母出现是互相独立的，计算消息“ac”的自信息。 解：由于前后字母出现是互相独立的，“ac”出现的概率为0.064*0.022，所以 信息量满足可加性 （3）假定前后字母出现不是互相独立的，当“a”出现以后， “c”出现的概率为0.04， 计算“a”出现以后， “c”出现的自信息量。 解： “a”出现的条件下，“c”出现的频率变大，它的不确定性变小，消除了一定的不确定性，所提供的信息量就减少。 2.1.2互信息 互信息 一个事件 所给出关于另一个事件 的信息定义为互信息，用 表示。 是已知事件 后所消除的关于事件 的不确定性。 事件 本身的不确定性 减去已知事件 后对 仍然存在的不确定性 例5 某地二月份天气出现的频率分别为 晴1/2，阴1/4，雨1/8，雪1/8.