第一章算法的基本概念 - 清华大学出版社.docVIP

第1章 概 论 1.1 信 息 处 理 中文信息处理技术作为计算机技术与中国语言文字相结合的一门交叉学科，随着信息处理技术的发展，近年来得到了快速的发展。语言文字信息处理作为计算机应用技术的一个重要分支，伴随着计算语言学、心理学、数学以及计算机科学的发展，已经成为新世纪信息技术中的一个重要研究领域。无论是中文信息处理还是语言文字信息处理，都离不开“信息”的概念。 信息（information）既是一种抽象的概念，又是一个无处不在的实际事件。控制论创始人维纳（Norbert Wiener）认为，信息既不是物质也不是能量，是人类在适应外部世界时以及在感知外部世界时而作出协调时与外部环境交换内容的总称。因此，可以认为，信息是人与外界的一种交互通信的信号量。 信息论奠基者Clause Shannon认为，信息就是能够用来消除不确定性的东西，是一个事件发生概率的对数的负值。该论述第一次阐明了信息的功能和用途，表明了信息是一个可以度量的概念，且指出了信息的度量方法可以依据相应的事件发生的概率进行确定大小。这样，不同概率实践就包含了不同的影响度（或称信息量）。 Robert M. Losee在1998年11月的《美国社会信息科学学报》上发表了“独立于学科的信息定义”论文，给出的信息定义是“Information may be defined as the characteristics