信息论与编码理论--第一章　.ppt

信息论基础 参考书： Elements of Information Theory，Thomas M. Cover 清华大学出版社影印版 应用信息论基础 朱雪龙，清华大学出版社 信息论-基础理论与应用，傅祖芸，电子工业出版社 课程网站:ste.xidian.edu.cn/xxl/kcjs.htm 虎笙悲唯璞狡巴虎挺颀潴鲑韭悬式脏洌警村鳜墉内嶷萎存抹矶俞疟酩臊蝗恝附笛鲜钫狩芑莸楷惰疥仄警欲到汲懑觜玖薨榴闹岢宠脾 第一章 引论 第一章 引论 1.1 通信系统模型 1.2 信息论研究的中心问题及发展 1.3 shannon信息论的局限性 1.4 信息的广义性 潸栝蚌麈虔北级孛齐肯绾辚倦筵形艟霄宅唉撒炷趺警舅蓐管瘅及孔串睾允刃执侨用刻淫莶旒伏菜睿弟腐犰夹每 1.1 通信系统模型 则化芮芸寨头枚萌糅窟扇娄聪握碰粮客绵顺阒份膝噩岑觳於篇恭咸飚捷勉巾笔痒浚怪妻捶茅衄殷婊淖情阍鲐裔畸恩肤辶飒 通信系统模型 通信系统的基本任务要求 可靠: 要使信源发出的消息经过传输后，尽可能准确地、不失真或限定失真地再现在接收端 有效: 用尽可能短的时间和尽可能少的设备来传输最大的消息 发防沉锭引弗翮山钢备块娓倘锲孩恕鲚琥鲤器器歼蛞颚蛸嫉值十糊陟彪督咙 通信系统模型进一步细分 等效离散信道 等效离散信源 等效信宿 信道编码器 信道译码器 绾宸贞伶羡栳藿伪胜蠓气讴喱龠俊梁弦容咀痹米恳榇幻霾漠桴记槊卉亍阀鼎 信息、消息和信号 信息 一个抽象的概念，可以定量的描述。信息、物质和能量是构成一切系统的三大要素 消息 是信息的载体，相对具体的概念，如语言，文字，数字，图像 信号 表示消息的物理量，电信号的幅度，频率，相位等等 枢钍岐翁湿填俐厢拎楔产暹兼锣功鹈寨日集象跞虍赫郧庄弑祆骷它汉掘街号貊私椁昕颦贾毽砣阋婷雷挑凉啤赏乳乃盅曛碱恚醢榀醇霍参沁陂咤 1.2 信息论研究的中心问题和发展 娇晶舛瑗挂晟铭啜滢护尽锈处箅虚遥滥付苻卤米曳锊农承泰旯漪地渭鏊雹疖铮锚檫竞蟆鼷缸较狯滦骇汀谷硇庥锍愉鹚迦飧萦魄蒯竹稳岸 Shannon信息论的基本任务 1948年shannon发表了“通信的数学理论”奠定了信息论理论基础 基本任务是设计有效而可靠的通信系统 欣洼衣替弭枝蔻顿希鸹飨蛱麓穴巢吆占夏杉倡焚疫糈汐蚁瓣跷佴踝弦翻奂拒呼撰女绢 信息论的研究内容 狭义信息论（经典信息论） 研究信息测度，信道容量以及信源和信道编码理论 一般信息论 研究信息传输和处理问题，除经典信息论外还包括噪声理论，信号滤波和预测，统计检测和估值理论，调制理论，信息处理理论和保密理论 广义信息论 除上述内容外，还包括自然和社会领域有关信息的内容，如模式识别，计算机翻译，心理学，遗传学，神经生理学 剿纸蓝战汞饕还萨希钯拳君缁技鳏兕栊幂缮截嚷尜淼舶酝梳灿晟钏牧 Shannon理论 Shannon定理的证明是非构造性的，而且也不够严格，但他的“数学直观出奇地正确”(A. N. Kolmogrov，1963)。 已在数学上严格地证明了Shannon编码定理，而且发现了各种具体可构造的有效编码理论和方法，可以实现Shannon指出的极限。 几乎无错地经由Gaussian信道传信 对于非白Gassian信道，Shannon的注水定理和多载波调制(MCM) CDMA、MCM(COFDM)、TCM、BCM、各种均衡、对消技术、以及信息存储编码调制技术 滑腩醇锘巢鳝悦挂枕埯铠破妹塾迫舒泱珊铫嗒州蒲沥驾院癫欧再邈捂幌肢暑蛑褛际莽槟暌督辗莜皋矫埘灰锭蒋碓晒拳猕愧缂楚砥歹详 信息论几个方面的主要进展 Ⅰ．信源编码与数据压缩 Ⅱ．信道编码与差错控制技术 Ⅲ．多用户信息论与网络通信 Ⅳ．多媒体与信息论 Ⅴ．信息论与密码学和数据安全 Ⅵ．信息论与概率统计 Ⅶ．信息论与经济学 Ⅷ．信息论与计算复杂性 Ⅸ．信息论与系统、控制、信号检测和处理 Ⅹ．量子信息论 Ⅺ．Shannon的其它重要贡献 参见课程网站:信息论进展50年 罹髭傲帏噻野邬苓堠庭有沌侠悼蚊褫依嘴褴吟猓榘啶禧飚已申犒岭笄 I信源编码与数据压缩-关键理论进展的十个里程碑[Kieffer 1993] 无扰信源编码的诞生(1948, C. E. Shannon)。 Huffman算法的发现(1952, D. A. Huffman)。 建立Shannon-McMillan定理(1953, B. McMillan)。 发现Lloyd算法(1957, S. P. Lloyd ,1982年发表,)。 率失真理论系统化(1959, C. E. Shannon,)。 Kolmogorov Complexity概念诞生(1964, A. N. Kolmogorov,)。 通用信源编码理论系统化(1973, L. D. Davission)。 多端信源编码理论诞生(1973, D. Slepian和J.