02SA-信息课件.pptVIP

计算机的支撑：信息论 Information Nyquist Hartley Shannon 一、信息的概念 原来，信息是不确定性的改变程度，即：由于熟悉信息后，不确定程度(无知程度)的改变量。 对信息量表达式的进一步研究，还可以回答： 为什么以对数函数表示呢?这是因为作为能度量信息的函数，需要满足3个条件： 1．K越大，不确定程度越大，n应越大； 2．K=1，不确定程度为零，即全确定，n应为零； 3．在复合实验中，不确定程度(或可能状态数目K)应具有可乘性，信息量n则应具有可加性。 维纳说：“单位信息量是对具有等概率的二者择一的事物作单一选择时所传递出的信息”。 不过，这也不是绝对的，实际上适用于不同场合，也可以用不同的对数底，其间可用“换底公式”自由变换。即： 以2为底，称为“比特”(bit)； 以e为底，称为“奈特”(nat)； 以3为底，称为“铁特”(tet)； 以10为底，称为“笛特”(det)。 显然，有计算关系： l bit=0.693nat=0.63tet=0.301det 把普遍存在于自然界和社会的各个领域，令人眼花缭乱的信息，加以抽象化，略去各自的专门性质，使它们能够相互比较，进行计算，从而提出了信息的概率理论。 他提出：信息量的计算应兼顾可能状态数目和状态发生概率两部分，因而为信息论的发展与应用开