2015 第二讲 从度量衡到信息熵.ppt

* * 频率 赫兹（Hz） 它是每秒中的周期性变动重复次数的计量。赫兹的名字来自于德国物理学家海因里希·鲁道夫·赫兹。 常见的通信单位 * 2015阅兵展示的雷达 雷达 赫兹 * 波长 米（m） 波长（wave length）是指波在一个振动周期内传播的距离。 调频波形示意图 常见的通信单位 * GPS定位精度与什么有关呢 * 温度 热力学温度，开尔文（K） 摄氏温度， 度（°C） 华氏温度， 度（°F） 温度会影响通信中的噪声系数 常见的通信单位 * * 套餐名称 套餐月费 含国内（省内）流量 超过部分国内流量费 3G国内流量包 10元 100 MB（国内） 0.0003 元/KB 20元 300 MB（国内） 30元 500 MB（国内） 比特（bit），每个0或1就是一个比特，1B=8bit 流量，字节以及它的倍数（DB,NB,YB,ZB,EB,PB，TB,GB,MB,KB,B） 常见的通信单位 * * 提纲 度量衡与度量单位 香农与信息熵 * * 信息的度量 什么是信息 * 信息是物质、能量、信息及其属性的标示。【逆维纳信息定义】 信息是确定性的增加。【逆香农信息定义】 信息是事物现象及其属性标识的集合。 【2002年】 信息的现代定义 * 熵（entropy）指的是体系的混乱的程度，它由鲁道夫·克劳修斯（Rudolf Clausius）提出，并应用在热力学中。 香农（Claude Elwood Shannon）第一次将熵的概念引入到信息论中来。 熵 * 物理学上，假定有两种气体a、b，当两种气体完全混合时，可以达到热物理学中的稳定状态，此时熵最高。 如果要实现反向过程，即将a、b完全分离，在封闭的系统中是没有可能的。 只有外部干预（信息），也即系统外部加入某种有序化的东西（能量），使得a、b分离。 熵的基本原理 * 温度增加熵如何变化 医学中的熵 * 发烧能用熵的理论解释吗 直到1948年，香农提出了“信息熵”的概念，第一次用数学语言阐明了概率与信息冗余度的关系，才解决了对信息的量化度量问题。 信息熵(1) * 你会算信息熵吗 一本五十万字的中文书到底有多少信息量 香农把信息（熵）定义为离散随机事件的出现概率。 信息熵(2) * 信息熵 信息熵的定义 通信系统一般模型 通信系统的组成 * 通信系统的组成包括：信源、发信机、信道、噪声源、收信机及信宿6个部分 * * 信息的度量 什么是信息？ 信息是客观事物在其运动、演化以及相互作用等过程中所呈现的现象、属性、关系与规律等 911 数据、信息、知识；表现形式（符号、语言、文字、图形、关系…） 为什么有信息时代？ 物质、能量、信息是理解现代社会的三大支柱 社会进步程度~获取和利用物质、能量、信息水平 * 信息的度量 质量、能量和信息量的度量 人们很早就知道用秤或者天平计量物质的质量大小。 19世纪中叶，能量的计量则通过“卡、焦耳”等新单位的出现而得到解决。 20世纪初期，随着电报、电话、照片、电视、无线电、雷达等的发展，如何计量信号中信息量的问题被逐渐提上日程。 * * 1928年哈特利(R.V.H. Harley)考虑到从D个彼此不同的符号中取出N个符号并且组成一个“词”的问题。解决了等概率符号的信息量I度量问题: 信息的度量 哈特利(R.V. H. Harley) * * 信息论 有人认为信息论是通信理论的一个组成部分，但实际上，信息论所涵盖的领域远远不止于此。 信息论 通信理论 通信理论中的临界值 概率论 极限定理 统计学 假设检验 科尔莫戈罗夫复杂度 计算机科学 不等式 数学 投资组合理论 经济学 物理学 AEP热力学、量子信息论 * * 香农与信息论 《A Mathematical Theory of Communication》（通信中的数学原理）(1948) 《Communication in the Presence of Noise 》（噪声下的通信）(1949) 信息论之父—香农 克劳德·香农（Claude Elwood Shannon，1916-2001），科学家和思想家，信息论创立者。 经典香农公式 * * 香农与信息论 可变长无失真信源编码定理 有噪信道编码定理 保失真度准则下的有失真信源编码定理 香农三大定理是信息论的基础理论 * * 香农与信息论 香农公式 在被高斯白噪声干扰的信道中，计算最大信息传送速率： 你知道怎样提高上网速度吗 * * ITU 4G空口传输的最高目标：10 bps/Hz * 1 10 100 1000 高 低 增强性3G 3G E3G 信息速率(Mb/s) 新的热点/ 本地无线