信息论与编码(傅祖云讲义)第一章.pptVIP

1.3 信息论的形成和发展 1948年，香农在《通信的数学理论》的论文中，用概率测度和数理统计的方法系统地讨论了通信的基本问题，得出了几个重要而带有普遍意义的结论。香农理论的核心是：在通信系统中采用适当的编码后能够实现高效率和高可靠性的信息传输，并得出了信源编码定理和信道编码定理。 从数学观点看，这些定理是最优编码的存在定理。但从工程观点看，这些定理不是结构性的，不能从定理的结果直接得出实现最优编码的具体途径。然而，它们给出了编码的性能极限，在理论上阐明了通信系统中各种因素的相互关系，为人们寻找最佳通信系统提供了重要的理论依据。 对于确定概率分布的信源编码 1948年，香农在论文中提出并给出了简单的编码方法(香农编码)，1952年,费诺(Fano)提出了一种费诺码，同年霍(哈)夫曼(D．A．Huffman)构造了一种霍夫曼编码方法，并证明了它是最佳码。 算术码就是一种非块码，它是从整个序列的概率的匹配来进行编码的。其实此概念也是香农首先提出的，后经许多学者改进，已进入实用阶段。1968年前后，埃利斯(P．Elias)发展了香农―费诺码，提出了算术编码的初步思路。而里斯桑内(J．Rissanen)在1976年给出和发展了算术编码，1982年他和兰登(G．G．Langdon)一起将算术编码系统化，并省去了乘法运算，使其更为简化、易于实现。 在研究信源编码的同时，另外一部分科学家从事信道编码(纠错码)的研究工作。这一工作已取得了很大的进展，并已经形成一门独立的分支——纠错码理论。1950年汉明(R．W．Hamming)发表的论文《检错码与纠错码》是开拓编码理论研究的第一篇论文。这篇论文主要考虑在大型计算机中如何纠正所出现的单个错误。 ? 密码编码学是信息安全技术的核心，密码编码学的主要任务是寻求产生安全性高的有效密码算法和协议，以满足对消息进行加密或认证的要求。 密码分析学的主要任务是破译密码或伪造认证信息，实现窃取机密信息或进行诈骗破坏活动。 这两个分支既相互对立又相互依存，正是由于这种对立统一关系，才推动了密码学自身的发展。 香农在1949年发表的《保密通信的信息理论》论文中，首先用信息论的观点对信息保密问题作了全面的论述。 由于保密问题的特殊性，直至1976年迪弗(Diffe)和海尔曼(Hellman)发表了《密码学的新方向》一文，提出了公开密钥密码体制后，保密通信问题才得到广泛研究。 尤其当今，信息的安全和保密问题更加突出和重要。人们把线性代数、初等数论、矩阵等引入保密问题的研究，已形成了独树一帜的分支——密码学理论。 1.4 信息论研究的内容和目的 研究通信系统的目的就是要找到信息传输过程的共同规律，以提高信息传输的可靠性、有效性、保密性和认证性，以达到信息传输系统最优化。所谓可靠性高，就是要使信源发出的消息经过信道传输以后，尽可能准确地、不失真地再现在接收端。而所谓有效性高，就是经济效果好，即用尽可能短的时间和尽可能少的设备来传送一定数量的信息。 以后会看到，提高可靠性和提高有效性常常会发生矛盾，这就需要统筹兼顾。 所谓保密性就是隐蔽和保护通信系统中传送的消息，使它只能被授权接收者获取，而不能被未授权者接收和理解。 所谓认证性是指接收者能正确判断所接收的消息的正确性和完整性，而不是伪造的和被篡改的。 信息与编码 河南工业大学信息科学与技术学院 朱春华 Tel: Address: 6408 Email: zhuchunhua@haut.edu.cn 课程计划 1、计划学时54，全部为讲课学时 2、每周结束进行20分钟的讨论； 3、总成绩为试卷成绩80%+平时成绩20%； 4、平时成绩满分20分，少交作业一次扣2分，无故缺课一次扣2分 5、计划讲授教材的一至九章 注意事项 1、实行严格的请假制度，请假必须有请假条且必须加盖团总支公章或有辅导员老师签字 2、保持课堂纪律，有问题可举手示意 3、欢迎大家及时提出反馈意见，以便更好的进行互动教学。 办公室：院办公楼4层 目录 第1章 绪论 第2章 离散信源及其信息测度 第3章 离散信道及其信道容量 第4章 波形信源和波形信道 第5章 无失真信源编码定理 第6章 有噪信道编码定理 第7章 保真度准则下的信源编码 第8章 无失真的信源编码 第9章 信道的纠错编码 第10章 网络信息论 第11章 保密系统的基本信息理论 第12章 信息论与其他学科的关系和应用 教材： 信息论——基础理论与应用(第2版)，傅祖芸编， 北京