[工学]信息论基础课程讲义1.ppt

信 息 论 基 础 信息论基础 什么是信息的12个问题： 消息就是信息。(虚假消息也是信息？有人称为负信息。) 数据就是信息。 (形式与内容相同的。) 新闻就是信息。 信息论基础 对消息接受者来说，预先不知道的报道。 (辞海) 知道了就不是信息？没有信息？ 预先知道就没有信息。 知识就是信息。（日本广辞苑） 使事件出现不确定性减少的消息就是信息。 信息论基础 差异就是信息。 消息是组织程度的度量。 信息是客观事物在我们感受中的反映。 （人死了还有信息吗？）客观性。 信息论基础 信息就是我们在适应外部世界和控制外部世界过程中，同外部世界进行交换的内容与名称。（物质与能量呢？） 信息是数据或消息中所蕴含的定义，它与信息载体无关。（人工智能词典） 信息是客观世界在万物和人类彼此之间相互感受和认识的再现，它反映了被感受对象和所考察事物的状态、特性和变化。 信息论基础 客观性。 主体的引入。 形式与实际内涵。 深入其内涵 不确定性是信息的一种度量，但并不是信息本身。 信息论基础 信息如何度量： 事物特性五花八门， 物质有一个量——质量 m 信息可否有一个量：信息量？ 信息论基础 事物特性一个最普遍的特征： 组织程度——结构化——有序性 如果能找到一个组织程度的衡量也好。 很难。 反过来：找一个混乱程度的度量，一个无序性的度量——有先例——热力学 热运动是一种无序运动。 信息论基础 无序性与热熵的关系： 物理学家R. Clausius提出熵的定义： Q —— 热量 T —— 绝对温度 描述热力学系统状况的一个函数 信息论基础 玻耳兹曼给出熵与物理系统微观状态数 的关系： 信息论基础 1900年普朗克引进玻耳兹曼常数K，得： 越大，表示系统可能的微观状态数越多，即可能的变化越大，可看为无序性越大。 信息论基础 热熵：系统无序性的一个度量，或分子位置不确定性的一种度量。 从概率理论出发，对不确定性度量的另一种考虑： 如何确定一个随机变量的不确定性程度？ 信息论基础 一个函数随机变量X，有N个可能取值： ，各取值出现概率 …… 信息论基础 用密度矩阵描述 信息论基础 例： 信息论基础 从概念可知， 若 ， ，不确定性为0。 故不确定性最大为： ， ，等概率。 显然，不确定性的大小与概率分布有关。 是什么关系呢？ 信息论基础 仙农提出，应是概率分布的函数 它满足： ① 连续性：是 的连续函数。 ② 等概率时，是N的单调增函数。 若 是N的单调增函数， 等概率时，取值数越多，不确定性越大 信息论基础 ③ 可加性： 随机变量的取值通过若干次试验才最后得到时，随即变量在多次试验中的不确定性程度应可加，且其和与通过一次试验所取得结果的不确定性程度相同： 信息论基础 例： 信息论基础 仙农证明，同时满足三条件，形式唯一： C = 常数 0 信息论基础 形式上与热力学的熵相同。 叫什么名字呢？ 仙农：叫“信息”？ Neuman：熵 ? 熵与信息量 信息论基础 Shannon熵公式的重要性质： 非负性：（不确定性最小为0）??? 信息论基础 对称性： 其中 是 的任意变换。 信息论基础 归一性： 信息论基础 可扩展性： 信息论基础 确定性： 信息论基础 可加性： 信息论基础 极值性： 信息论基础 条件熵不大于无条件熵: 信息论基础 Shannon不等式: 信息论基础 H(p)是p的上凸函数: 对二元熵函数 ，有 p=0.5最大，p=0，1最小 H(p)随p偏离0.5而单调下降 信息论基础 * * 韦伯字典 牛津字典 *