信息熵的表示和计算.docxVIP

实验一 信息熵的表示和计算 （实验估计时间： 分钟） 120 背景知识 1.1.1 （ 信息熵是美国贝尔实验室数学家仙侬 SHANNON） 1948 年他的通讯数学理 论那篇文章中首先提出的 . 仙侬也因此获得了现代信息通讯技术之父的美称 . 他对信 息通讯的贡献可以说是对世纪进入信息时代奠定了最重要的基础理论 . （ ， 要简单说信息熵 ENTROPY 的概念很不容易 不过你只要把它看做是信息的 一种数量化的衡量尺度就八九不离十了 . 就象世界原来并没有时间这个东西 , 但 是处 于测度生命和运动过程的需要 , 人们发明了时间的概念 . 同样, 信息原本并没 有测度 标准 , 但是出于衡量