Informationchapter1-new3.ppt

Information Theory, Coding and Cryptography 计分方式 期末考试成绩： 40分? 平时成绩： 20分? 实验+实习： 40分 信息论的方法应用及取得的成果 语音信号压缩 长途电话网标准的语音编码速率：CCITT G.711标准的64kbit/s(1971) →NSA标准的2.4kbit/s(1975) →目前已有低于100bit/s 图象信号压缩 CCITT与ISO联合提出的“多灰度静止图象压缩编码”标准JPEG的压缩比为24:1(1991) ,对常规电视信号的压缩的国际标准MPEG-1的平均压缩比为50:1(1991) 信息论的方法应用及取得的成果 计算机文件的压缩 有多种算法，平均压缩到25%～50% 模拟话路中数据传输速率的提高 最早的MODEM速率为300bit/s，而信息论指出，标称带宽4KHZ，信噪比25dB的话路信道的极限速率应在25kbit/s左右。1985年利用多维网格编码调制的MODEM Codex2680使速率达到19.2kbit/s，非常接近于理论极限。 信息论的方法应用及取得的成果 降低信息传输所需功率 利用信道编码使同样误码率下所需的Eb/N0(能量与噪声功率谱密度之比)比不采用信道编码时低6dB左右。 计算机网中数据传输可靠性的保证 为降低计算机网的传输差错，目前普遍采用带自动重发请求的差错检测码，如最简单的奇偶校验或较复杂的循环冗余检验CRC码。 信息论的方法应用及取得的成果 计算机中的容错问题 为保证计算机存储器的存取正确性，增加适当的检错纠错装置，如BCH码等。如IBM360的光盘存储器中就采用了RS码。 图象信号的复原与重建 为复原退化图象，一般采用最大熵方法，如常用的剑桥算法。 信息论的方法应用及取得的成果 模式分类问题与树分类器的设计 相同类别的模式在空间中有较短的距离，选用熵或互信息作为距离量度，在语音识别、汉字识别中取得了很好的结果。 信息论的方法应用及取得的成果 其他应用成果 有效性编码 信号的预测---预测编码 多元及多路传输---分用信道 抗干扰编码---检错码，纠错码 频谱扩展技术---用频带换取功率，抗干扰性强 通信的电子对抗---加密与解密 最佳检测理论---干扰下的信息最佳接收问题 信源编码与数据压缩-关键理论进展的十个里程碑[Kieffer 1993] 无扰信源编码的诞生(1948, C. E. Shannon)。 Huffman算法的发现(1952, D. A. Huffman)。 建立Shannon-McMillan定理(1953, B. McMillan)。 发现Lloyd算法(1957, S. P. Lloyd ,1982年发表,)。 率失真理论系统化(1959, C. E. Shannon,)。 Kolmogorov Complexity概念诞生(1964, A. N. Kolmogorov,)。 通用信源编码理论系统化(1973, L. D. Davission)。 多端信源编码理论诞生(1973, D. Slepian和J. K. Wolf)。 第一个实际的算术编码方案(1976, J. Rissannen和R. Pasco 1976 博士论文)。 发现Lempel-Ziv码(1977, J. Ziv和A. Lempel)。 多用户信息论与网络通信 (1) 理论基础。两路通信系统(Shannon 1961)。 (2) 理论进展。 Cover, Schalkwijk, Van. der Meulen, Alswede, Slepian, Wolf, Wyner Liao(Universty of Hawaii), Han等。 (3) 技术成就。 CDMA(Virerbi, Qaulecom)的技术问题：联合检测和译码、均衡、干扰抵消、速率分拆(rate splitting)、功率检测控制等(Verdu, Shamai and Rimoldi)。 STC(Space time code)，源于信息论考虑。 线性网络编码 合作编码技术 Chapter 1Source Coding Overview Generalized communication system Probability and probability distribution 互信息 互信息 I(信息量)=不肯定程度的减小量 如果信道是无噪的，当信源发出消息x后，信宿必能准确无误地收到该消息，彻底消除对x的不确定度，所获得的信息量就是x的不确定度，即x本身含有的全部信息. 信宿在收信前后，其消息的概率分布发生了变化，即其概率空间变了 . 互信息 1. 互信息 (1) yj对xi的互信息 I(xi;yj