信息论 1的.pdfVIP

信息论 李修 参考书目 1 朱雪龙 应用信息理论基础 清华大学出版社 2001 2 常 迥 信息理论基础 清华大学出版社 TP 14/33 3 吴伟陵 信息处理与编码 人民邮电出版社 4 章照止 林须端信息论与最优编码 上海科学技术出版社1993 TN911 2/2 5 [ 日]有木卓 近代信息论 人民邮电出版社 O 263/3 参考书目 6 [ 日]腾田宏一 基础信息论 O 263/2 7 信息论基础 TN 911/1.2 8 编码和信息理论 TP 14/10 9 信息论 TN 911/2 10 信息论 TN 91/26 11 信息论基础 G 201/2 12 周荫清 信息理论基础 北京航空航天大学出版社 13 姜 丹 信息论与编码 中国科学技术大学出版社 2001  本学科的理论奠基人: 香农 shannon  先修课程: 概率论, 随机过程, 数理统计, 通信技术. 第一章 绪 论 1.1 信息的概念 1.2 信息的分类 1.3信息论研究的对象目的和内容 1.4信息论发展简史与现状 1.1 信息的概念 1.1.1 信息的概念 1.1.2 概念区别：信息、情报、知识、消息 1.1.3 统计信息的测度 1.1.4 自信息的定义 1.1.5 互信息定义 1.1.6 香农信息定义的优缺点 1.1 信息的概念 1.1.1 信息的概念 1. 广义信息：注重考虑形式和内容 信息社会、信息爆炸 2. 计算机中的信息：注重考虑信息的形式 3. 统计信息 定义：信息是事物运动状态或存在方 式的不确定性的描述。 统计信息与内容无关，也独立于形式， 是科学的定义，可以度量和计算。 1.1.2 概念区别：信息、情报、知识、消息  广义信息已包含了情报、知识、消息。  情报用来表示军事方面、文献方面获取 的信息。  知识是以实践为基础，通过抽象的思维 对客观事物规律性的概括。  消息是把客观物质运动和主观思维活 动的状态表达出来。  消息表达方式 文字—书信 符号—电报 数据—股市 语言—汉语 音符—歌曲 图象—电视节目 消息中包含信息，消息是信息的载体。 相同的信息可用不同的消息形式来载荷 相同形式的消息载荷不同的信息及信息量 信号携带着消息，信号是消息的运载工 具 —— 信号携带信息 信源编码 信道编码 发E-mail 汉字符编码 调制器(脉冲) 传输 解调器 汉字译码 收E-mail 1.1.3 统计信息的测度 信息来自于消息。 收到消息前 收到消息后 不知 已知 不知 不确定 获得信息