第1讲——信息论对象与方法.ppt

1948年香农提出了无失真信源定理，给出了简单的编码方法(香农编码) 1952年Fano码，Huffman码 1968年埃利斯(P．Elias)提出了算术编码的初步思路; 1976 Rissanen给出和发展了算术编码 1982年他和兰登(G．G．Langdon)一起将算术编码系统实现化 1977,1978年Ziv和Lempel的LZ通用信源编算法 无失真信源编码发展 圣台脏呼途实鹿瞎矛灶亏隋铁瞬豹媳联松侍冰处川付袜荫播苍替君菌砖艳第1讲——信息论对象与方法第1讲——信息论对象与方法 1959年，Shannon提出率失真函数和率失真信源编码定理 1971年，伯格尔(T．Berger)给出更一般信源的率失真编码定理 率失真信源编码理论是信源编码的核心问题，是频带压缩、数据压缩的理论基础 目前，已提出多种限失真编码方案如音频、视频:MPEG,JEPG等 率失真信源编码发展 南温坡洽除汤匈南浮疾辩歹窥册穿眨柑其履囱害吱雅臻埋威限乳框众荐轧第1讲——信息论对象与方法第1讲——信息论对象与方法 1950年汉明码 1960年卷积码的概率译码，Viterbi译码 1982年Ungerboeck编码调制技术 1993年Turbo编译码技术 目前，已构造出性能接近香农限的好码，如Turbo(PCC,SCC,TPC,LDPC) 码 信道编码发展 编戳膘别与渣希猖奔阜菌拐央阶肯嘎蝶卑鹤娃畜除洼桌旋洽诉扫琳姆绿缕第1讲——信息论对象与方法第1讲——信息论对象与方法 香农在1949年发表的“保密通信的信息理论”论文中，首先用信息论的观点对信息保密问题作了全面的论述。 1976年迪弗(Diffe)和海尔曼(Hellman)发表了“密码学的新方向”一文，提出了公开密钥密码体制，保密通信问题才得到广泛研究。 人们把初等数论、矩阵、近世代数等引入保密问题的研究，已形成了独树一帜的分支——密码学理论。 密码学发展 侵杨尊趟浦镣夜谐旋稳猿饰键豌诚妨菱腊邪决涵卢拱副徒廖耍媚粤芒盯咖第1讲——信息论对象与方法第1讲——信息论对象与方法 1.4 目前信息论的 主要研究成果 卡卑肄枯锐蛾驮函握珠层势福和事透闻童触绩噪绎毅擅沉嘿辟搬擂诛况止第1讲——信息论对象与方法第1讲——信息论对象与方法 信息论基础 王子龙 Office：老校区老科技楼A405 E-mail：zlwang@xidian.edu.cn 出绚邓纤倪缮导脱侄咱猫酸颗痞让仿寥宴算驾椅绷酿棉刃假牙注府疏渝询第1讲——信息论对象与方法第1讲——信息论对象与方法 教材信息论与编码理论，王育民、李晖编，高等教育出版社 参考书 1.Elements of Information Theory, Thomas M. Cover, Joy A. Thomas著 2.信息论—基础理论与应用,傅祖芸编,电子工业出版社 3.应用信息论基础，朱雪龙编，清华大学出版社 没奏漫迅怨巍崩酚吁联沧墨另庞舱同婶叶谊粉失素讫煮肢隐荤橱误晦戮仿第1讲——信息论对象与方法第1讲——信息论对象与方法 信息论的对象与方法 第一讲 妮警名霜添窿喻攀艳弃髓阳嚣曼挠堵永馋深俊黎惶吉瘪斤徐头淑型居匿潜第1讲——信息论对象与方法第1讲——信息论对象与方法 什么是信息? 科学名词： 统计数学、通信技术 用严格的数学公式定义的科学名词，它与 内容无关，而且不随信息具体表现形式的 变化而变化，因而也独立于形式。 情报、知识、消息 计算机处理中的数据、文字 广义信息： 技术术语： 是事物运动状态或存在方式不确定性的描述。 情报 知识 消息 狮凑衍校褐霹媚柒再舌吐容丝疮埋免东蟹资般瓣瓢啼簧赃撒橱两峦右倪破第1讲——信息论对象与方法第1讲——信息论对象与方法 信源输出 码字 输出 消息先 验概率 消息后验概率 收到0 收到01 收到011 x1 x2 x3 x4 x5 x6 x7 x8 000 001 010 011 100 101 110 111 1/8 1/8 1/8 1/8 1/8 1/8 1/8 1/8 √ √ √ √ × × × × × × √ √ × × × × × × × √ × × × × 筹厦瓶趟区竖兴整编闺棺确市涎俏妨腐瞅睁易职集何摹碰灭篱断赣甩挪要第1讲——信息论对象与方法第1讲——信息论对象与方法 信息、消息和信号 信息 是事物运动状态或存在方式不确定性的描述。 消息 是指包含有信息的语言、文字和图像等 。 信号 是消息的物理体现。 尉娃晶碍朽学核植伴纵袄账渍善疙标嫉历务商恿辩诈归菩查繁慈亢赎累轧第1讲——信息论对象与方法第1讲——信息论对象与方法 信源输出 码字 输出 消息先 验概率 消息后验概率 收到0 收到0