数字通信原理第1讲 绪论.ppt

* * * * * * * * * * * * * * * * * * * * * * * * * 联合熵与条件熵的计算： 这三者之间的关系： 在已知一个符号的前提下，另一个符号所产生的信息熵 两个符号共同产生的信息熵 两个符号先后到达，这时两个符号所带来的信息熵 = 某个符号带来的信息熵 + 在已知这个符号的前提下另一个符号所带来的信息熵 一个符号在没有任何前兆时带来的信息量肯定大于等于有前兆时所带来的信息量。若两个符号相互独立，则等号成立，否则大于号成立 信源冗余度： 假设某个信源X可以输出L个符号X1、X2…XL，这L个符号之间存在记忆，即相互关联，则信源熵可表示为： 定义消息序列信源平均每发出一个符号所含的信息熵： 当L→∞时， 则下式成立： 则多余的信息量为： 信源的效率： 信源的冗余度： 信源的冗余度表明信源所发出的信息有多余分量，若不进行处理，在进行传送时，会占用信道资源，导致信道利用率的降低 信源的效率越低则冗余度越大 三、互信息 信源输出的平均信息量被接收端收到后的信息量称为互信息：I(X; Y ) H(X )表示X所包含的平均信息量， H(X|Y )表示在已知Y的条件下X带来的信息量。两者之差就是由于知道Y使得X减少的信息量 各种熵之间的关系： 四、无失真离散信源编码定理 信源编码： 1）离散信源输出的是各种离散消息和符号； 2）为了能将离散消息和符号在信道上传输，必须将这 些消息和符号进行数字化，即进行信源编码 保证无失真的信源编码的两点要求： 1）信息速率要小； 2）接收端能够译码并从编码序列中恢复出原始信息 两种编码方法： 1）等长编码：编码器输出的所有码字长度相同 2）不等长编码：编码输出的码字长度不同 这个编码器的要求： 1）无失真： 2）有效性： 若要保证完全意义上的无失真，即： 对于等概离散信源可以采用等长编码方法 对于不等概的离散信源： 1）无需对每一个消息序列进行编码； 2）只考虑大概率的消息序列 3）小概率的消息序列不进行编码 因此在这个条件不能满足完全意义的无失真，此时的无失真是指近似的无失真 当不等概时，将消息序列集合按照概率大小分为两部分： 大概率消息序列集合 小概率消息序列集合 集合以近似于概率1出现 对于编码器的无失真要求： 因此只要编码器输出的信息量为 时，编码器可以做到近似无失真 此即为等长编码定理，定义编码器输出的信息率 在信源等概的条件下： 当不等该时： 利用等长编码定理： 对于二进制编码： 对于 表示平均每个信源符号的编码长度，其值与信源的信息熵有关，因此称为熵编码 当采用变长编码时，必然存在一种编码方式使得信源的信息率 接近于信息熵 变长编码（非满树变长编码）： 码字的起点 码字 码字的起点 进制数 Huffman编码、异前置码 * * * * * * * * * * * * * * * * * * * * * * * * * * * * * 绪论 OSI网络模型 应用层：用户的应用程序和网络之间的接口 表示层：协商数据交换格式? 会话层：允许用户使用简单易记的名称建立连接? 传输层：提供终端到终端的可靠连接 网络层：使用权数据路由经过大型网络? 数据链路层：决定访问网络介质的方式? 物理层：将数据转换为可通过物理介质传送的电子信号? 通信基本概念 通信基本概念 通信就是信息的传输与交换 通信表现为消息的传递 通信最终目的是有效和可靠地获取、传递和交换信息 消息、信息与信号 消息、信息与信号 消息：是指为人所感知的语音、文字、图形、图象、符号等内容 信息：是消息中包含的有意义的内容 信号：是消息的具体表现形式或消息的载体，通常是指随时间表现的物理量 三者关系： 消息、信号是具体的概念，信息是抽象的概念； 消息是信息的载体，而信号又是消息的载体，是具体表现的物理参量 通信回顾 通信回顾 古代的烽火台：夜晚点火或白天点狼烟表示有敌人入侵,无火或无狼烟表示平安无事 (二进制数据通信) 海军的旗语是用两只手的握旗姿势表示A-Z等符号（多进制数据通信） 我国通信事业的起点：李鸿章时代的洋务运动时代，以四个阿拉伯数字表示一个汉字的电报 一个多世纪以来，通信可以大致划分四个阶段： 古代的通信：烽火台 1838年电报开始的通信的初级阶段 1948年香农信息论开始的近代通信阶段 80年代以后的光纤通信应用、综合业务数字网的崛起的现代通信阶段 电报出现后的初级阶段 1837年，美国人塞缪乐.莫斯（Samuel Morse）成功地研制出世界上第一台电磁式电报机。可将信息转换成一串