信息论 第一章.pptVIP

第一页，共十九页，2022年，8月28日 参考书目 1 朱雪龙 应用信息理论基础 清华大学出版社 2001 2 常 迥 信息理论基础 清华大学出版社 TP 14/33 3 吴伟陵 信息处理与编码 人民邮电出版社 4 章照止 林须端 信息论与最优编码 上海科学技术出版社 1993 TN911 2/2 5 信息论基础 TN 911/1.2 第二页，共十九页，2022年，8月28日 第一章 绪 论 1.1 信息的概念 1.2 信息论研究的对象 目的和内容 1.3 信息论发展简史与信 息科学 第三页，共十九页，2022年，8月28日 1.1 信息的概念 1.1.1 信息的概念 1.1.2 概念区别：信息、情报、知识、消息 1.1.3 统计信息的测度 1.1.4 香农信息定义的优缺点 1.1.5 信息的属性 第四页，共十九页，2022年，8月28日 1.1 信息的概念 1.1.1 信息的概念 统计信息 定义：信息是事物运动状态或存在方式的 不确定性的描述。 1.1.2 概念区别：信息、情报、知识、消息 广义信息已包含了情报、知识、消息 消息是把客观物质运动和主观思维活动的状态表达出来。 第五页，共十九页，2022年，8月28日 消息表达方式 文字—书信 符号—电报 数据—股市 语言—汉语 音符—歌曲 图象—电视节目 第六页，共十九页，2022年，8月28日 信息量 不确定性消除程度 概率 不确定性 随机性 随机事件 概率论 随机过程 1.1.3 统计信息的测度 第七页，共十九页，2022年，8月28日 举例1：三个随机变量 X,Y,Z的密度矩阵为 等概率分布时，随机变量的不确定性程度最大。 第八页，共十九页，2022年，8月28日 举例2：两个随机变量 X,Y 的密度矩阵为 均等概率分布时，样本数多的不确定性程度最大。 第九页，共十九页，2022年，8月28日 自信息 样本空间：某事物所有可能选择的消息集合 概率空间：样本空间和它的概率测度。 先验概率： 某消息 的自信息： 后验概率：条件概率 第十页，共十九页，2022年，8月28日 收到消息 后，发送端是否是 的不确定性： 互信息 表示收信者收到消息 后，已知消除的不确定性，即先验的不确定性减去尚存的不确定性，这就是收信者获得的信息量。 第十一页，共十九页，2022年，8月28日 （1）如果信道无干扰 （2）若 ，则 ，无信息 （3）若 ，则 ， 信息量大 第十二页，共十九页，2022年，8月28日 1.1.4 香农信息定义的优缺点 优点：(1) 科学的定义，有明确的数学模 型，可进行定量计算； (2) 与日常信息的含义一致； (3) 计算结果客观。 缺点：(1) 有些事物取值的概率模型难以 建立； (2) 未考虑信息的主观性和实用性。 第十三页，共十九页，2022年，8月28日 物质、能量和信息是物质世界的三大支柱,是科学历史上三个最重要的基本概念. 特征: (1) 信息、物质、能量统一于事物一身. (2)信息的存在具有普遍性、无限性、动态性、时效性和相对独立性. (3)信息具有可传递性、可转换性、可扩散性、可复制性、可存储性,因而具有共享性. (4)信息具有可度量性. 1.1.5 信息的属性 第十四页，共十九页，2022年，8月28日