信息技术导论课件复习资料..docVIP

信息技术导论 信息、信息科学与信息技术 香农（信息论创始人）认为：信息是有秩序的量度，是人们对事物了解的不确定性的消除或减少。 信息是对组织程度的一种测度，信息能使物质系统有序性增强，减少破坏、混乱和噪音。 香农提出：信息的传播过程是“信源”（信息的发送者）把要提供的信息经过“信道”传递给“信宿”（信息的接收者），信宿接收这些经过“译码”（即解释符号）的信息符号的过程。 信源→编码 →信道→译码→信宿 设X为一离散随机变量，在集合中取值，其概率分布为 在公式中，对数的底数从理论上而言可以取任何数。当底数为2时，信息的计量单位为比特（bit），即二进制单位。 信息熵是从整个信息源的统计特性来考虑的，它从平均的意义上来表示信息源的总体信息测度，它表示信息源 X 在没有发出消息以前，信宿对信息源 X 存在着平均不确定性。香农的信息度量公式排除了对信息主观上的含意。根据上述公式，同样一个消息对任何一个收信者来说，所得到的信息量都是一样的。 小结 熵就是描写不肯定性大小的量 熵越大不确定性就越大 香农信息论的局限性 首先，香农对信息的定义的出发点是假定事物状态可以用一个以经典集合论为基础的概率模型来描述。然而实际存在的某些事物运动状态要寻找一个合适的概率模型往往是非常困难的。对某些情况来讲，是否存在这样一个模型还值得探讨。 其次，这个定义和度量不考虑收信者的主观特