大学课程《自然语言处理—技术与应用》PPT教学课件：第2章 数据预处理.pptxVIP

自然语言处理——技术与应用新形态计算机专业系列规划教材

数据预处理的目的2.1数据预处理的作用2.2目录contents数据预处理第2章自然语言处理中的数据预处理2.3数据预处理的基本流程2.4数据标准化2.5向量表示法2.6

数据预处理的目的2.1

2.1数据预处理的目的2.1.1噪声文本数据往往包含大量无关信息和噪声,例如标点符号、HTML标记、停用词、缩写、拼写错误、语法错误等。2.1.2数据规范文本数据通常呈现多样的表达形式和写作风格,涉及大小写、缩写、单复数、变体词等。2.1.3文本数据标记和分词标记和分词过程将文本数据转换为可操作的形式,为模型学习提供基础。2.1.4词形还原和词干提取在NLP任务中,有时需要将单词转换为它们的基本形式,即词形还原和词干提取。2.1.5文本数据向量化大多数NLP模型要求将文本数据转换为数字特征向量,以与其他机器学习算法兼容。文本数据向量化是为了更好地表示文本数据,为模型的学习提供基础。

数据预处理的作用2.2

2.2数据预处理的作用在原始训练数据中,由于每一维度特征的来源和度量单位不同,导致特征值的分布范围存在显著差异。当计算不同样本之间的欧氏距离时,取值范围较大的特征会对结果产生较大影响。因此,在基于相似度比较的机器学习方法中,对样本进行预处理是不可或缺的一环。这包括将各维度特征归一化到相同的取值区间,并消除不同特征之间的相关性,以确保