另起一页段前分页演示后.pdfVIP

第1章概论

1.1信息处理

中文信息处理技术作为计算机技术与语言文字相结合的一门交叉学科，随着信息处

理技术的发展，近年来得到了快速的发展。语言文字信息处理作为计算机应用技术的一个重要

分支，伴随着计算语言学、心理学、数学以及计算机科学的发展，已经成为新世纪中

的一个重要研究领域。无论是中文信息处理还是语言文字信息处理，都离不开“信息”的概念。

信息（information）既是一种抽象的概念，又是一个无处不在的实际。控制论创始人

维纳（NorbertWiener）认为，信息既不是物质也不是能量，是人类在适应外部世界时以及在

感知外部世界时而作出协调时与外部环境交换内容的总称。因此，可以认为，信息是人与外界

的一种交互通信的信号量。

1.2中文信息处理

中文信息处理，从广义来说，由我们祖先创立中文开始，就一直在进行；从狭义来说，从

第一部中文字典产生以来，就一直在进行中文信息的分析和综合处理（计算机中文信

进行的加工和操作，包括对、短语、句、篇章的输入、输出、识别、转换、压缩、、

检索、分析、理解和生成等各方面的处理技术。它是在语言文字学、计算机应用技术、人工智

能、认知心理学和数学等相关学科的基础上形成的一门边缘学科。汉字学和汉语语言学中的词

法学、句法学、语义学和语用学给中文信息处理的各个层面提供了可靠的理论依据，而人工智

能的知识工程、机器学习、模式识别和神经计算，数学中的模型理论、形式化理论和数理统计

等构成了中文信息处理的方法论基础。

1.3计算机中文信息处理主要研究对象

计算机中文信息处理包含了多个研究层次。在计算机操作系统方面，需要解决中文信息在

计算机的表示，中文信息的输入和输出以及中文信息在Internet上的传输等问题，从而使

中文信息在计算机中的处理变得可行。在语言文字方面，需要解决选择（或规范）多少汉字进

入计算机，汉字的字形、字型信息的描述等问题。在应用方面，需要解决包括机器学习、自然

语言处理、计算机翻译等一系列与语言信息处理相关的问题。