通信原理与(02信息) .ppt

通信原理 张敏qq. com 通信原理 二、想不到的价值——信息 Review 通信归根到底是点对点的通信 通信系统 Review Review 数字通信系统 信源编码：提高传输的有效性 信道编码：提高传输的可靠性 Review 通信系统的性能指标 单元概述 通信系统通的是什么信？ 什么是信息？ 信息怎么计算？ 信息度量有什么意义？ 2．1 想知道什么——信息 例如，在情人节那天甲对乙说：“我爱你”， 在愚人节那天甲对乙说：“我爱你”， 前一消息包含的信息显然要比后者少些。同样，当你听说“有人被狗咬了”并不会感到惊奇，但若有人告诉你“一条狗被人咬了”你一定非常吃惊。 对接收者来说，事件愈不可能发生，愈会使人感到意外和惊奇，则信息量就愈大 量度消息中所含的信息量值，必须能够用来估计任何消息的信息量，且与消息种类无关 消息中所含信息的多少也应和消息的重要程度无关 2． 2 废话有多少信息量 铁路系统运送货物量多少采用“货运量”（不管运送什么货物）来度量 通信系统中传输信息的多少采用“信息量”来度量。 注意：信息量的大小实际上与内容无关 一个消息对于接收者很有价值（即信息量大）在于这个消息是他不知道的事情或觉得不可能发生的事情（即小概率事件）。 2．2 废话有多少信息量 什么函数能满足以上3个要求？ 对数！ 2．2 废话有多少信息量 课本P16 比特——信息量的单位，但工程上习惯把它作为信号的单位 通信中的基本问题，就是在一点再生另一点的信息 在实际的通信系统中，消息往往是指发送的某些符号。这些符号能携带多少信息量，与这些符号发生的概率有关，而对于接收端来说，接收到的这些符号的概率是一定的。 例题 一个信息源由0、1、2共3个符号组成，3个符号出现的概率分别是1/8、1/4和1/2，且每个符号出现都是独立的。如果消息序列长为18，其中0出现8次，1和2各出现5次。试求消息序列所包含的信息量。 0符号所携带的信息量：-log2(1/8)=3bit 1符号所携带的信息量：-log2(1/4)=2bit 2符号所携带的信息量：-log2(1/2)=1bit 消息序列的总信息量：I=3*8+2*5+1*5=39bit 某信源每天播报某地的天气预报，此地晴天、多云、阴、雨的概率分别为1/2、1/4、1/8、1/8 求： （1）晴、多云、阴、雨的各自所含信息量 （2）信息串“晴-多云-阴-晴-晴-晴-多云-雨”所含的总信息量 （3）此信源的每个消息的平均信息量（称为“信息熵”） 平均信息量 平均信息量Ｉ等于各个符号的信息量乘以各自出现的概率之和 二进制时 平均信息量 通信中要寻求解决的问题 通信系统的目的是信息传输，接收端（信宿）要能最大的获取发送端（信源）的信息。要解决以下问题： 1、发送信号的概率如何分布才能的到最大熵？ 2、最大熵是多少？ 小结 信息对学习通信原理的意义 信息这个概念贯穿了所有的通信原理，香农的信息论被认为是20世纪最重要的科学理论之一，也是高层次技术人才必不可少的基础知识 我们要学习的通信技术，想要了解这些技术是被怎样创造出来的，就不能不了解信息的含义 自测题 信息和消息有什么区别？ 信息：消息中包含的有意义的内容 消息是信息的载体 信息量的定义和单位是什么？ I=-loga(P(x)) 信息量的单位由底数a决定。当a=2时，信息量的单位为比特 自测题 设有A、B、C3个消息，分别以概率1/4、1/8、1/2传送，假设它们出现是相互独立的，试求每个消息的信息量。 　【例2.4】 一信息源由4个符号A、B、C、D组成，它们出现的概率为3/8、1/4、1/4、1/8，且每个符号的出现都是独立的。试求信息源输出为CABACABDACBDAABDCACBABAADCBABAACDBACAACABADBCADCBAABCACBA的信息量。 　解：信源输出的信息序列中，A出现23次，B出现14次，C出现13次，D出现7次，共有57个。则出现A的信息量为 出现B的信息量为 出现C的信息量为 出现D的信息量为 该信息源总的信息量为 I=30.11+28.35+27.72+21.18=107.36 (bit) 每一个符号的平均信息量为 　　上面计算中，我们没有利用每个符号出现的概率来计算，而是用每个符号在57个符号中出现的次数(频度)来计算的 实际上，用平均信息量公式直接计算可得 总的信息量为 I=57×1.90=108.30 (bit) 可以看出，本例中两种方法的计算结果是有差异的，原因就是前一种方法中把频度视为概率来计算。当信源中符号出现的数目m→∞时，则上两种计算方