信息论第一章.ppt

信息论 课程教材： 信息论——基础理论与应用 傅祖芸 编著 参考书目 1 朱雪龙 应用信息理论基础 清华大学出版社 2001 2 常 迥 信息理论基础 清华大学出版社 TP 14/33 3 吴伟陵 信息处理与编码 人民邮电出版社 4 章照止 林须端 信息论与最优编码 上海科学技术出版社 1993 TN911 2/2 5 [日]有木卓 近代信息论 人民邮电出版社 O 263/3 参考书目 6 [日]腾田宏一 基础信息论 O 263/2 7 信息论基础 TN 911/1.2 8 编码和信息理论 TP 14/10 9 信息论 TN 911/2 10 信息论 TN 91/26 11 信息论基础 G 201/2 12 周荫清 信息理论基础 北京航空 航天大学出版社 13 姜 丹 信息论与编码 中国科学技术大学出版社 2001 本学科的理论奠基人: 香 农 shannon 先修课程: 概率论 , 随机过程, 数理统计, 通信技术. 第一章 绪 论 1.1 信息的概念 1.1.1 信息的概念 1.1 信息的概念 1.1.1 信息的概念 1.1.2 概念区别：信息、情报、知识、消息 相同的信息可用不同的消息形式来载荷 1.1.3 统计信息的测度 举例1：三个随机变量 X,Y,Z的密度矩阵为 举例2：两个随机变量 X,Y 的密度矩阵为 1.1.4 自信息的定义 收到消息 后，发送端是否是 的不确定性： （1）如果信道无干扰 1.1.6 香农信息定义的优缺点 1.2 信息论研究的对象、目的和内容 1.2.1 研究对象——通信系统模型 1.2 信息论研究的对象、目的和内容 1.2.1 研究对象——通信系统模型 2 编码器： 编码器是把消息变换成信号的措施，编码器输出的是适合信道传输的信号。 信号携带消息。 3 信道：指通信系统把信号从甲地传输到 乙地的媒介。 1.2.2 目的——信息传输系统最优化 4 认证性 指接收者能正确判断所接收的消息的正确性，验证消息的完整性，而不是伪造的和被篡改的。 1.2.3 信息论研究的内容 3 广义信息论 新兴的信息科学理论，包括： 上述两方面内容 与信息有关的自然和社会领域，如： 模式识别 计算机翻译 心理学 遗传学 神经生理学 语言学 语义学等 1.3 信息论发展简史与现状 信息论是在长期的通信工程实践和理论研究基础上发展起来的。 电磁理论和电子学理论促进了电信系统的发展。 由信息论研究形成的分支—— 纠错码 纠错码理论 压缩编码 压缩编码理论 保密码 密码学理论 网络信息理论 信息论研究在近代取得的成果 1 语言信号压缩— 每秒传输位数减少 2 图象信号压缩— 图象信号进入通道领域 3 计算机文件压缩— 达原文件25%-50% 4 计算机中的容错问题— 接收纠错 5 图象信号的复原与重建— 用最大熵法 * * 吉林大学通信工程学院 1.1 信息的概念 1.2 信息论研究的对象 目的和内容 1.3 信息论发展简史与现状 1.1.2 概念区别：信息、情报、知识、消息 1.1.3 统计信息的测度 1.1.4 自信息的定义 1.1.5 互信息定义 1.1.6 香农信息定义的优缺点 1. 广义信息：注重考虑形式和内容 信息社会、信息爆炸 2. 计算机中的信息：注重考虑信息的形式 3. 统计信息 定义：信息是事物运动状态或存在方 式的不确定性的描述。 统计信息与内容无关，也独立于形式，是科学的定义，可以度量和计算。 广义信息已包含了情报、知识、消息。 情报用来表示军事方面、文献方面获取 的信息。 知识是以实践为基础，通过抽象的思维 对客观事物规律性的概括。 消息是把客观物质运动和主观思维活 动的状态表达出来。 消息表达方式 文字—书信 符号—电报 数据—股市