通信原理_第二讲_信息与其量度.pptVIP

通信原理 第二讲;1.3信息及其量度 1.信息定义 信息—information 消息—message 信息可以理解为消息中包含的有意义的内容 例如：今天晚上23点天已经黑了。 今天晚上23点学校要放电影。 今天晚上23点西安要地震。 今天晚上23点地球要灭亡了。 ; 2.信息量I 定义：消息出现的概率 的函数 特性： 1)消息出现的概率越小，所包含的信息量越大；(反比的关系) 2)若某消息由若干个独立消息所组成，则该消息所包含的信息量是每个独立消息所含信息量之和。（对数的性质） 对数的性质: ; 结论： 由以上的分析可得信息量的公式 (1-1) 单位： 单位为比特(bit 简写为b) 单位为奈特(nat 简写为n) 单位为笛特(Det)或称为十进制单位 单位称???r进制单位 ;【例1－1】已知二进制离散信源(0,1),每一符号等概独立发送，求传送0和1的信息量。 解：由于每一波形出现的概率为 ，故传送0和1的信息量都为 【例1－2】已知二进制离散信源(0,1),若0和1出现的概率分别为0.75和0.25，求0和1的信息量。 解：;3.离散独立等概消息的信息量 离散：消息集有M个可能的消息所组成 独立：各消息间相互统计独立 等概：各消息出现的概率相等 1)二进制(M=2) 结论：对于等概的二进制波形，其每个符号(码元)所包含的信息量为1bit ;2)M进制( ) 结论：等概M进制的每个符号(码元)所包含的信息量为N bit，是二进制的N倍。 ;4.平均信息量—熵H(X) 定义：平均信息量等于各个符号的信息量乘以各自出现的概率之和。 单位：bit/符号 设各符号出现的概率为 则平均信息量(每个符号所包含信息的平均值)为 (1-2) ;重要结论： 信息源的最大熵出现于信源中每个符号等概独立之时。 此时最大熵为 bit/符号 (1-3) 总信息量I的两种计算方法： 1)若某符号集的熵为H(X),则当该符号集发送m个符号时 (1-4) 2)若消息中包含的符号不太多，可以用实际每个符号出现的次数来计算 ;【例1－3】已知某四进制离散信源(0,1,2,3)其中每一个符号出现的概率分别为 ， ， ， ，且相互独立，求信源发送13201010100201300200100210300101020010030103210消息时的信息量。 解法一：用熵的方法 bit/符号 又 ，所以 bit ;解法二：用实际出现的次数来计算 本消息共47个符号，其中0出现24次，1出现12次，2出现6次，3出现5次。每个符号所包含的信息量为 所以总的信息量为;1.5一般通信系统的性能指标 对一个一般的通信系统而言，有效性和可靠性是主要的衡量指标。 有效性：快慢问题 可靠性：好坏问题 1.5.1模拟通信系统的性能指标 有效性指标——传输带宽 如传输一路模拟电话，采用单边带调制占有4KHZ的带宽，采用双边带调制占有8KHZ的带宽。 可靠性指标——输出信噪比 一般说接收端的输出信噪比越大，系统的可靠性越好。 ;1.5.2 数字通信系统的性能指标(重点) 有效性指标——传输速率 1)码元传输速率RB:单位时间内传输码元(符号)的数目 单位：波特 Baud B 若码元宽度为Tb 则 (1-5) 码元传输速率又称为码元速率 传码率 码率等 2)信息传输速率Rb：单位时间内传送的信息量 单位：比特/秒 bit/s 信息传输速率又称为传信率 比特率等