第1讲——信息论的对象与方法.ppt

1948年香农提出了无失真信源定理，给出了简单的编码方法(香农编码) 1952年Fano码，Huffman码 1968年埃利斯(P．Elias)提出了算术编码的初步思路; 1976 Rissanen给出和发展了算术编码 1982年他和兰登(G．G．Langdon)一起将算术编码系统实现化 1977,1978年Ziv和Lempel的LZ通用信源编算法 无失真信源编码发展 1959年，Shannon提出率失真函数和率失真信源编码定理 1971年，伯格尔(T．Berger)给出更一般信源的率失真编码定理 率失真信源编码理论是信源编码的核心问题，是频带压缩、数据压缩的理论基础 目前，已提出多种限失真编码方案如音频、视频:MPEG,JEPG等 率失真信源编码发展 1950年汉明码 1960年卷积码的概率译码，Viterbi译码 1982年Ungerboeck编码调制技术 1993年Turbo编译码技术 目前，已构造出性能接近香农限的好码，如Turbo(PCC,SCC,TPC,LDPC) 码 信道编码发展 香农在1949年发表的“保密通信的信息理论”论文中，首先用信息论的观点对信息保密问题作了全面的论述。 1976年迪弗(Diffe)和海尔曼(Hellman)发表了“密码学的新方向”一文，提出了公开密钥密码体制，保密通信问题才得到广泛研究。 人们把初等数论、矩阵、近世代数等引入保密问题的研究，已形成了独树一帜的分支——密码学理论。 密码学发展 1.4 目前信息论的 主要研究成果 信息论的主要研究成果 语音信号压缩 长途电话网标准 1972年 CCITT G.711标准中的 64kbit/s， 1995年 CCITT G. 723.1标准中的 6.3kbit/s。 移动通信中 1989年 GSM标准中语音编码速率为13.2 kbit/s 1994年 在为半码速GSM研究的VSELP编码算法中，码速率为5.6kbit/s 目前在实验室中已实现600bit/s的低速率语音编码，特别是按音素识别与合成原理构造的声码器其速率可低于100bit/s，已接近信息论指出的极限。 信息论的主要研究成果 图像信号压缩 1989年 CCITT提出电视电话/会议电视的压缩标准H.261,其压缩比达到25:1到48:1左右 1991年 CCITT与ISO联合提出的“多灰度静止图像压缩编码”标准JPEG,其压缩比为24:1 在运动图像方面,运动图像专家组继成功定义了MPEG-1和MPEG-2之后,于1993年7月开始制订全新的MPEG-4标准。随着MPEG-4标准的不断扩展,它不但能支持码率低于64kbit/s的多媒体通信,也能支持广播级的视频。 降低信息传输所需的功率 在远距离无线通信,特别是深空通信中如何降低信息传输所需的功率至关重要。因为在这种情况下发送设备的功率和天线的尺寸都已成为设备生产和使用中的一个困难问题。 正是在这个领域信息论获得了它第一批令人信服的成果。60年代后期起，NASA发射的所有深空探测器无一例外地在其通信设备中采取了信道编码措施。 信息论的主要研究成果 计算机网中数据传输可靠性的保证 在用各种电缆连接而成的计算机网中电噪声和各种外界的电磁干扰是必须考虑的，因为它使传输的信息发生差错。 一般情况下，局域网中的差错率在10-8左右,广域网中的差错率在10-3～10-5。这样高的差错率在实际应用中是无法接受的，目前普遍采用的解决办法是带自动重发请求的差错检测码。 差错检测的方法从最简单的奇偶检验到比较复杂的循环冗余检验都被采用，但规模较大的网一般都用循环冗余检验。 信息论的主要研究成果 本节小结 信息的概念 信息论的研究对象、目的与内容 事物运动状态或存在方式不确定性的描述 自信息数学定义 对象：简单通信系统模型 目的：提高可靠性、有效性、保密性与认证性 内容：经典信息论（包括信源、信道、 信源编码、信道编码等） （本节内容见课本1-18页） 作业 无 * * * * * * 信息论基础 王子龙 Office：老校区老科技楼A405 E-mail：zlwang@xidian.edu.cn 教材信息论与编码理论，王育民、李晖编，高等教育出版社 参考书 1.Elements of Information Theory, Thomas M. Cover, Joy A. Thomas著 2.信息论—基础理论与应用,傅祖芸编,电子工业出版社 3.应用信息论基础，朱雪龙编，清华大学出版社 信息论的对象与方法 第一讲 什么是信息? 科学名词： 统计数学、通信技术 用严格的数学公