2015 第二讲 从度量的衡到信息熵.ppt

通信工程专业导论;*;秦的统一;秦统一六国之后，始皇纵观天下景象，街头巷陌车不同轨，货币、文字五花八门，封地民俗三教九流...... 这是真正的统一吗？ ;为了加强中央集权，便于管理和发展经济，实现“六合大一统”的局面。 秦皇颁发诏书，明令天下，统一度量衡 分天下以为三十六郡，郡置守、尉、监...... 一法度衡石、丈尺。车同轨。书同文。字。 ——《史记·秦始皇本纪》 书同文 度同制 车同轨 行同伦 ——《中庸》 ;*;*;*;*;*;*;*;*;*;*;*;*;*;*;*;*;*;*;*;*;*;*;*;*;*;*;*;*;*;*;*;信息是物质、能量、信息及其属性的标示。【逆维纳信息定义】 信息是确定性的增加。【逆香农信息定义】 信息是事物现象及其属性标识的集合。 【2002年】;熵（entropy）指的是体系的混乱的程度，它由鲁???夫·克劳修斯（Rudolf Clausius）提出，并应用在热力学中。 香农（Claude Elwood Shannon）第一次将熵的概念引入到信息论中来。;物理学上，假定有两种气体a、b，当两种气体完全混合时，可以达到热物理学中的稳定状态，此时熵最高。 如果要实现反向过程，即将a、b完全分离，在封闭的系统中是没有可能的。 只有外部干预（信息），也即系统外部加入某种有序化的东西（能量），使得a、b分离。;医学中的熵;直到1948年，香农提出了“信息熵”的概念，第一次用数学语言阐明了概率与信息冗余度的关系，才解决了对信息的量化度量问题。; 香农把信息（熵）定义为离散随机事件的出现概率。;通信系统一般模型;*;信息的度量; 1928年哈特利(R.V.H. Harley)考虑到从D个彼此不同的符号中取出N个符号并且组成一个“词”的问题。解决了等概率符号的信息量I度量问题: ;信息论;*;*;*;*;*;*;*