信息论讲义_第三讲.pptVIP

信息理论基础（第三讲）;第二章 信息的统计度量;2.3 离散集的平均自信息量;2.3.1 平均自信息量（熵,Entropy）;香农熵与热力学中热熵的关系;2.3.1 平均自信息量（续）;有两个信源，其概率空间分别为 信息熵分别为 H(X)=-0.99log0.99-0.01log0.01=0.08 比特/符号 H(Y)=-0.5log0.5-0.5log0.5=1 比特/符号 可见 H(Y)H(X) 结论： 信源Y的二个输出消息是等可能性的，所以事先猜测哪一个消息出现的不确定性要大； 信源X的二个输出消息不是等概率的，事先猜测x1和x2哪一个出现，虽然具有不确定性，但大致可以猜出x1会出现，所以信源X的不确定性要小； 信息熵反映的就是信源输出前平均不确定程度的大小。;2.3.1 平均自信息量（续）;例：设甲地的天气预报为：晴(占4／8)、阴(占2／8)、大雨(占1／8)、小雨(占1／8)。又设乙地的天气预报为：晴 (占7／8)，小雨(占1／8)。试求两地天气预报各自提供的平均信息量。若甲地天气预报为两极端情况，一种是晴出现概率为1而其余为0。另一种是晴、阴、小雨、大雨出现的概率都相等为1／4。试求这两极端情况所提供的平均信息量。又试求乙地出现这两极端情况所提供的平均信息量。;解：甲地天气预报构成的信源空间为;甲地极端情况;乙地极端情况;例：电视屏上约有 500 × 600= 3 × 105个格点，按每 点有 10个不同的灰度等级考虑，则共能组成n=103x10个不同的画面。按等概率1/103x10计算，平均每个画面可提供的信息量为 ;例：有一篇千字文章，假定每字可从万字表中任选，则共有不同的千字文 N=100001000=104000 篇 仍按等概率1/100001000计算，平均每篇千字文可提供的信息量为 H（X）＝log2N ＝4 × 103 × 3．32 1．3 × 104 比特／千字文 ;例：该信源X输出符号只有两个，设为0和1。输出符号发生的概率分别为p和q，p＋q=l。即信源的概率空间为 ; ;2.3.1 平均自信息量（续）;2.3.1 平均自信息量（续）-性质;2.3.1 平均自信息量（续）-性质;2.3.1 平均自信息量（续）-性质;2.3.1 平均自信息量（续）-性质;本性质说明，信源的取值增多时，若这些取值对应的概率很小（接近于零），则信源的熵不变。 虽然概率很小的事件出现后，给予收信者较多的信息。但从总体来考虑时，因为这种概率很小的事件几乎不会出现，所以它在熵的计算中占的比重很小。这也是熵的总体平均性的一种体现。 ;2.3.1 平均自信息量（续）-性质;2.3.1 平均自信息量（续）-性质;2.3.1 平均自信息量（续）-性质;2.3.1 平均自信息量（续）-性质;2.3.1 平均自信息量（续）-性质;2.3.1 平均自信息量（续）-性质;x1;2.3.1 平均自信息量（续）-性质;即给定集合 和 取 构造 则有 证明：将 按定义展开，易得小于0;（8）递增性;2.3.1 平均自信息量（续）-性质;它表示n个元素的信源熵可以递推成(n-1)个二元信源的熵函数的加权和。这样，可使多元信源的熵函数的计算简化成计算若干个二元信源的熵函数。因此，熵函数的递增性又可称为递推性。;例：运用熵函数的递增性，计算熵函数H(1/3，1/3，1/6，1/6)的数值。;2.3.2 条件熵、联合熵;物理含义： 已知一随机变量的情况下，对另一随机变量不确定性的量度 观测Y以后，仍保留的关于X的不确定量。 ;疑义度? ;噪声熵或散布度 ?; 信源发出的信息量在信道上全部损失掉了，故称为全损离散信道。 分析: I（X；Y）＝H（X）-H（X／Y） 如果X与Y是相互独立的，那么Y已知时X的条件概率等于X的无条件概率，由于熵就是这概率的对数的数学期望，X的条件熵就等于X的无条件熵，此时 I（X；Y）=0。 ;2.3.2 条件熵、联合熵;解：信源X的熵为：;信源XY输出每一对消息的联合概率为：P(XY) = P(Y/X)P(X) ，结果如下表：; 信源Y的条件熵： 信道散布度 (噪声熵);对第二个信源Y，其熵H(Y)的计算。由全概率公式：;例：二进制通信系统