自然语言处理技术与产业发展手册.docxVIP

自然语言处理技术与产业发展手册

第1章自然语言处理技术基础

1.1语言学与自然语言处理

语言学是研究语言的结构、发展、演变以及人类使用语言的规律的科学，是自然语言处理（NLP）的基础理论支撑。NLP本质上是计算机科学与语言学的交叉学科，旨在让计算机理解、处理和人类语言。语言学中的基本概念包括语素、词、句、语义、语法、语用等。例如，语素是语言中的最小有意义单位，而词是能够独立使用的最小语言单位。在NLP中，这些概念被用来构建、词向量表示等。

语言学中的符号系统与自然语言的结构密切相关。例如，英语中单词“cat”由三个语素组成（c-a-t），而中文的“猫”是一个词，由一个语素构