第1讲——信息论地对象与方法.pdf

信息论基础 信息论基础 信息论基础 刘 刚 刘 刚 Office：老校区主楼 Ⅰ区347 Office：老校区主楼 Ⅰ区347 E mail：lgliu@163.com - E-mail：lgliu@163.com 课程基础 • 概率论与数理统计 • 随机过程 • 近世代数 参考书 1．信息论—基础理论与应用，傅祖芸编， 电子工业出版社 2 ．应用信息论基础，朱雪龙编， 清华大学出版社 第一讲 第一讲 信息论的对象 信息论的对象 信息论的对象 与方法 与方法 与方法 1.1 信息的基本概念 1.1 信息的基本概念 什么是信息? 情报 广义信息：情报、知识、消息知识 消息 技术术语： 计算机处理中的数据、文字 科学名词：统计数学、通信技术 – 用严格的数学公式定义的科学名词，它与 内容无关，而且不随信息具体表现形式的 变化而变化，因而也独立于形式。 –是事物运动状态或存在方式不确定性的描述。 输入 码字 消息先 消息后验概率 消息 输出 验概率 收到0 收到01 收到011 x 1 000 1/8 √ × × x2 001 1/8 √ × × x3 010 1/8 √ √ × x4 011 1/8 √ √ √ x5 100 1/8 × × × x 6 101 1/8 × × × x 7 110 1/8 × × × x8 111 1/8 × × × 信息、消息和信号 • 信息 – 是事物运动状态或存在方式不确定性的描述。 • 消息 – 是指包含有信息的语言、文字和图像等。 • 信号 – 是消息的物理体现。 消 信 输入 码字 消息先 消息后验概率 消息 输出 验概率 收到0 收到01 收到011 x 1 000 1/8 √ × × x2 001 1/8 √ × × x3 010 1/8 √ √ ×