文本数据挖掘与Python应用 课件 第3章 文本表示.pptx

第3章

文本表示模型

3.1文本预处理在预处理阶段，将文本转化为更易计算机识别的信息，即对文本进行形式化处理。这一形式化的结果称为文本表示，不同的文本表示模型有着不同的特点，所以根据文本的特点和文本处理的要求来选择合适的文本表示模型是非常重要的。原始数据处理在一些搜索引擎应用系统中，由爬虫发现的文档或者由信息源提供的文档，通常都不是纯文本，它们的格式多种多样，如HTML、XML、AdobePDF、MicrosoftWord，或者是MicrosoftPowerPoint等等。还有些数据来源于文档数据库，它用于管理大量的文档及与这些文档相关的结