第1讲——信息论对象与方法课件.pptVIP

信息论基础; 教材信息论与编码理论，王育民、李晖编，高等教育出版社;信息论的对象与方法;什么是信息?;;信息、消息和信号;;Shannon信息定义;信息的特征; 【例】摸球试验 甲袋共100个球，红球白球各50个；乙袋共100个球，红、白、蓝、黑球各25个；现随意从甲袋或乙袋中取出一球，并猜测取出球的颜色？; 【例】气象预报 甲地： 乙地： ;;概率空间;不确定性大小; 自信息 条件自信息 ;;香农定义的信息的优缺点 ;信息论研究对象;信息论研究目的;数字通信系统模型;信息论研究的内容;本课程研究的主要内容;Claude Shannon (1916-2001);Claude Shannon (1916-2001);Claude Shannon (1916-2001);Claude Shannon (1916-2001);Claude Shannon (1916-2001);Claude Shannon (1916-2001);1.? 兴趣驱动，淡漠名利 ? ? 自述道：“我总是受我的兴趣驱动，不大关心其经济价值或对于世界的价值。” 2.? 探索股市，变得富有 ? ? 思索股票价格起伏的规律性和信息论应用于投资的可能性。 在投资股票方面很成功，并变得富有。 3.? 心灵手巧，善制机器 ? ? 制作计算器Throbac和玩六连棋的机器Hex。 研究计算机下棋、老鼠走迷宫、杂技演员最多能控制多少个球，要抛多高才行？机器解魔方问题以及用计算机研究和进行股票投资等。 4.? 酷爱杂技，乐在其中 ? ? 曾制作杂耍机，成为杂耍机器人的先驱。 ;1924年 奈奎斯特 “影响电报速率的一些因素”;1948年香农提出了无失真信源定理，给出了简单的编码方法(香农编码) 1952年Fano码，Huffman码 1968年埃利斯(P．Elias)提出了算术编码的初步思路; 1976 Rissanen给出和发展了算术编码 1982年他和兰登(G．G．Langdon)一起将算术编码系统实现化 1977,1978年Ziv和Lempel的LZ通用信源编算法;1959年，Shannon提出率失真函数和率失真信源编码定理 1971年，伯格尔(T．Berger)给出更一般信源的率失真编码定理 率失真信源编码理论是信源编码的核心问题，是频带压缩、数据压缩的理论基础 目前，已提出多种限失真编码方案如音频、视频:MPEG,JEPG等;1950年汉明码 1960年卷积码的概率译码，Viterbi译码 1982年Ungerboeck编码调制技术 1993年Turbo编译码技术 目前，已构造出性能接近香农限的好码，如Turbo(PCC,SCC,TPC,LDPC) 码;香农在1949年发表的“保密通信的信息理论”论文中，首先用信息论的观点对信息保密问题作了全面的论述。 1976年迪弗(Diffe)和海尔曼(Hellman)发表了“密码学的新方向”一文，提出了公开密钥密码体制，保密通信问题才得到广泛研究。 人们把初等数论、矩阵、近世代数等引入保密问题的研究，已形成了独树一帜的分支——密码学理论。 ;1.4 目前信息论的 主要研究成果 ;信息论的主要研究成果;信息论的主要研究成果; 降低信息传输所需的功率 在远距离无线通信,特别是深空通信中如何降低信息传输所需的功率至关重要。因为在这种情况下发送设备的功率和天线的尺寸都已成为设备生产和使用中的一个困难问题。 正是在这个领域信息论获得了它第一批令人信服的成果。60年代后期起，NASA发射的所有深空探测器无一例外地在其通信设备中采取了信道编码措施。; 计算机网中数据传输可靠性的保证 在用各种电缆连接而成的计算机网中电噪声和各种外界的电磁干扰是必须考虑的，因为它使传输的信息发生差错。 一般情况下，局域网中的差错率在10-8左右,广域网中的差错率在10-3～10-5。这样高的差错率在实际应用中是??法接受的，目前普遍采用的解决办法是带自动重发请求的差错检测码。 差错检测的方法从最简单的奇偶检验到比较复杂的循环冗余检验都被采用，但规模较大的网一般都用循环冗余检验。;本节小结;作业