Python自然语言处理 课件 电子03-1 -语料库基础.pptx

语料库基础 Python自然语言处理 第三章 课前回顾 语料库基础 0 1 自然语言通常是指一种自然地随文化演化的语言（如汉语、英语、日语）。自然语言是人类交流和思维的主要工具，亦是人类智慧的结晶。自然语言处理是人工智能中最为困难的问题之一，而对自然语言处理的研究也是充满魅力和挑战的。 语料，即语言材料。语料是语言学研究的内容。语料是构成语料库的基本单元。 语料库是语料库语言学研究的基础资源，也是经验主义语言研究方法的主要资源。其具备三个特点： 语料库中存放的是在语言的实际使用中真实出现过的语言材料 语料库是以电子计算机为载体承载语言知识的基础资源 语料通常需要经过分析和处理后，才能成为有用的资源 语料库是为一个或者多个应用目标而专门收集的，有一定结构和有代表性且可被计算机程序检索的具有一定规模的语料集合。本质上讲，语料库实际上是通过对自然语言运用的随机抽样，以一定大小的语言样本来代表某一研究中所确定的语言运用的总体。 在构建语料库时，构建的语料库应该具备代表性、结构性、平衡性、规模需求并制定语料的元数据规范，各个原则如下： 1、代表性 2、结构性 3、平衡性 4、规模性 语料库有多种类型，确定类型的主要依据是它的研究目的和用途，这一点往往能够在语料采集的原则和方式上有所体现。语料库大致可分成四种类型： 1、异质的（Heterogeneous）：没有特定的语料收集原则，广泛收集并原