通信原理(02信息).pptVIP

平均信息量 下面计算多个信息符号的平均信息量。设各符号出现的概率为 则每个符号所含信息的平均值(平均信息量)为 * 【例2.3】　 设由5个符号组成的信息源， 其相应概率为 试求信源的平均信息量I。 解 5个符号等概率出现时 * 　【例2.4】 一信息源由4个符号A、B、C、D组成，它们出现的概率为3/8、1/4、1/4、1/8，且每个符号的出现都是独立的。试求信息源输出为CABACABDACBDAABDCACBABAADCBABAACDBACAACABADBCADCBAABCACBA的信息量。 　解：信源输出的信息序列中，A出现23次，B出现14次，C出现13次，D出现7次，共有57个。则出现A的信息量为 * 通信原理 张敏qq. com 通信原理 二、想不到的价值——信息 Review 通信归根到底是点对点的通信 通信系统 * Review * Review 数字通信系统 信源编码：提高传输的有效性 信道编码：提高传输的可靠性 * Review 通信系统的性能指标 * 单元概述 通信系统通的是什么信？ 什么是信息？ 信息怎么计算？ 信息度量有什么意义？ * 2．1 想知道什么 ——信息 消息（MESSAGE） 信号（SINGNAL） 信息（INFORMATION） * 2．1 想知道什么 ——信息 消息（MESSAGE）：声音、文字或者图像等等这种人能够感知的描述。 信号（SINGNAL）：消息的载体形式。 信息（INFORMATION）：抽象的、本质的。是消息的有效内容。 * 2．1 想知道什么——信息 （1）杀敌时的鼓声就是一个信号，他要传达的信息是冲锋陷阵、奋勇杀敌。 （2）仗打得差不多的时候的锣声也是一个信号，传达的信息是鸣金收兵，咱不打了。 （3）灯塔上的灯光是信号，它要传达的信息可能是此处有暗礁，请绕行！ （4）航海用的旗语是信号，它要传达的信息因旗语的不同而异。 （5）无线电报用滴答的代码传递消息，无线电传输的是无线电信号。 （6）电话将声音信号转换为电信号在电缆中传送。 信息=信号？消息？ * 2．1 想知道什么 ——信息 “信息”(information)既不等于消息(message)，也不等同于信号！ 信息可被理解为消息中包含的有意义的内容 消息可以有各种各样的形式，但消息的内容可统一用信息来表述 传输信息的多少可直观地使用“信息量”进行衡量 * 2．1 想知道什么——信息 例如，在情人节那天甲对乙说：“我爱你”， 在愚人节那天甲对乙说：“我爱你”， 前一消息包含的信息显然要比后者少些。同样，当你听说“有人被狗咬了”并不会感到惊奇，但若有人告诉你“一条狗被人咬了”你一定非常吃惊。 对接收者来说，事件愈不可能发生，愈会使人感到意外和惊奇，则信息量就愈大 量度消息中所含的信息量值，必须能够用来估计任何消息的信息量，且与消息种类无关 消息中所含信息的多少也应和消息的重要程度无关 * 2．2 废话有多少信息量 用相同的消息量来表达的信息量是不一样的。 对于一个通信系统，若用相同长度的二进制信号，能传输的信息量越大，说明其通信能力越强。 * 2． 2 废话有多少信息量 铁路系统运送货物量多少采用“货运量”（不管运送什么货物）来度量 通信系统中传输信息的多少采用“信息量”来度量。 注意：信息量的大小实际上与内容无关 一个消息对于接收者很有价值（即信息量大）在于这个消息是他不知道的事情或觉得不可能发生的事情（即小概率事件）。 * 2． 2 废话有多少信息量 信息与信息量: 消息中所包含信息量的多少，不是由消息的多少来决定，而是与该消息发生的概率密切相关。 消息发生的概率越小（越不可预测），信息量就越大。 且概率为零时(不可能发生事件)信息量为无穷大， 概率为1时(必然事件)信息量为0 * 2．2 废话有多少信息量 （1）消息x发生的概率P(x)越大，信息量I越小；反之，发生的概率P(x)越小，信息量就越大。 * 2．2 废话有多少信息量 （2）当概率为1时，信息量为0 P=1时 I=0 P=0时 I=∞ * 2．2 废话有多少信息量 （3）当一个消息由多个独立的小消息组成时，那么这个消息所含信息量应等于各小消息所含信息量的和，I[P(x1)P(x2)…]=I[P(x1)]+I[P(x2)]+… * 2．2 废话有多少信息量 什么函数能满足以上3个要求？ 对数！ a=2 单位为比特(bit，或b) a=e 单位为奈特(nat，或n) a=