[通信原理第二讲信息及其量度.pptVIP

通信原理 第二讲 通信基础教研室 潘若禹 办公室 3号实验楼135 电话 邮箱 panruoyu@xiyou.edu.cn Evaluation only. Created with Aspose.Slides for .NET 3.5 Client Profile 5.2.0.0. Copyright 2004-2011 Aspose Pty Ltd. 1.3信息及其量度 1.信息定义 信息—information 消息—message 信息可以理解为消息中包含的有意义的内容 例如：今天晚上23点天已经黑了。 今天晚上23点学校要放电影。 今天晚上23点西安要地震。 今天晚上23点地球要灭亡了。 信息量依次增大 Evaluation only. Created with Aspose.Slides for .NET 3.5 Client Profile 5.2.0.0. Copyright 2004-2011 Aspose Pty Ltd. 2.信息量I 定义：消息出现的概率 的函数 特性： 1)消息出现的概率越小，所包含的信息量越大；(反比的关系) 2)若某消息由若干个独立消息所组成，则该消息所包含的信息量是每个独立消息所含信息量之和。（对数的性质） 对数的性质: Evaluation only. Created with Aspose.Slides for .NET 3.5 Client Profile 5.2.0.0. Copyright 2004-2011 Aspose Pty Ltd. 结论： 由以上的分析可得信息量的公式 (1-1) 单位： 单位为比特(bit 简写为b) 单位为奈特(nat 简写为n) 单位为笛特(Det)或称为十进制单位 单位称为r进制单位 Evaluation only. Created with Aspose.Slides for .NET 3.5 Client Profile 5.2.0.0. Copyright 2004-2011 Aspose Pty Ltd. 【例1－1】已知二进制离散信源(0,1),每一符号等概独立发送，求传送0和1的信息量。 解：由于每一波形出现的概率为 ，故传送0和1的信息量都为 【例1－2】已知二进制离散信源(0,1),若0和1出现的概率分别为0.75和0.25，求0和1的信息量。 解： Evaluation only. Created with Aspose.Slides for .NET 3.5 Client Profile 5.2.0.0. Copyright 2004-2011 Aspose Pty Ltd. 3.离散独立等概消息的信息量 离散：消息集有M个可能的消息所组成 独立：各消息间相互统计独立 等概：各消息出现的概率相等 1)二进制(M=2) 结论：对于等概的二进制波形，其每个符号(码元)所包含的信息量为1bit Evaluation only. Created with Aspose.Slides for .NET 3.5 Client Profile 5.2.0.0. Copyright 2004-2011 Aspose Pty Ltd. 2)M进制( ) 结论：等概M进制的每个符号(码元)所包含的信息量为N bit，是二进制的N倍。 Evaluation only. Created with Aspose.Slides for .NET 3.5 Client Profile 5.2.0.0. Copyright 2004-2011 Aspose Pty Ltd. 4.平均信息量—熵H(X) 定义：平均信息量等于各个符号的信息量乘以各自出现的概率之和。 单位：bit/符号 设各符号出现的概率为 则平均信息量(每个符号所包含信息的平均值)为 (1-2) Evaluation only. Created with Aspose.Slides for .NET 3.5 Client