Chapter1信息与计算科学探析.ppt

计算科学导论;课程目标与主要内容;;主要参考资源:;;1.1 探索信息的真谛;维纳(N. Wiener), 1894年11月26日生于密苏里州的哥伦比亚，1964年3月18日去世。美国数学家，控制论的创始人。;香农（C. E. Shannon) 1916年4月30日出生于美国密歇根州，2001年2月26日去世。美国数学家、信息论的创始人。;香农的研究成果标志着信息论（Information Theory）的诞生。 信息论的三个发展阶段：;香农对信息的定义 信息是有秩序的量度，是人们对事物了解的不确定性的消除或减少。信息是对组织程度的一种测度，信息能使物质系统有序性增强，减少破坏、混乱和噪音。 通信系统模型：;香农将“熵”的概念引入信息领域。一个系统的熵就是它的无组织程度的度量。而一个系统中的信息量是它的组织化程度的度量，这说明信息与熵恰好是一个相反的量，信息是负熵。;信息的度量 自信息量及其计算 若某事件的基本空间可能出现的元素分别为x1，x2…xm；且每一个可能值的概率为： P（X= xi）＝p i=1,2,…,m 则定义一个随机事件x所含的信息量称为x的自信息量： I(x)＝log（1/p(x)）＝－log p(x) 其中I(x)代表x的自信息量，p(x)为事件x出现的概率,当底数为2时，信息的计量单位为比特（bit）。