机器学习-文本分析.pdfVIP

机器学习

机器学习

第5章文本分析

第5章文本分析

章节介绍

•文本分析是机器学习领域重要的应用之，也称之为文本挖掘。通过对文本

内部特征提取，获取隐含的语义信息或概括性主题，从而产生高质量的结

构化信息，合理的文本分析技术能够获取作者的真实意图。典型的文本挖

掘方法包括文本分类、文本聚类、实体挖掘、观点分析、文档摘要和实体

关系提取等，常应用于论文查重、垃圾邮件过滤、情感分析、智能机器和

信息抽取等方面

•本章首先介绍文本分析基础知识，然后对文本特征选取与表示、知识图谱、

语法分析、语义分析等常见文本处理技术详细说明，最后介绍文本分析应

用

章节结构

•文本分析介绍

•文本特征提取及表示

–TF-IDF

–信息增益

–互信息

–卡方统计量

–词嵌入

–语言模型

–向量空间模型

•知识图谱

–知识图谱相关概念

–知识图谱的存储

–知识图谱挖掘与计算

–知识图谱的构建过程

章节结构

•词法分析

–文本分词

–命名实体识别

–词义消歧

•句法分析

•语义分析

•文本分析应用

–文本分类

–信息抽取

–问答系统

–情感分析

–自动摘要

文本分析介绍

•文本分析的过程从文本获取开始，一般经过分词、文本特征提取与表示、

特征选择、知识或信息挖掘和具体应用等步骤

文本特征提取及表示

•文本的特征表示是文本分析的基本问题，将文本中抽取出的特征词进行向

量化表示，将非结构化的文本转化为结构化的计算机可以识别处理的信息，

然后才可以建立文本的数学模型，从而实现对文本的计算、识别、分类等

操作。通常采用向量空间模型(VectorSpaceModel,VSM)来描述文本向量，

在保证原文含义的基础上,找出最具代表性的文本特征，与之相关的有TF-IDF

、信息增益(InformationGain)和互信息(MI)等

议程TF-IDF

•TF-IDF(TermFrequency-InverseDocumentFrequency)是一种文本统计方法，

主要用来评估文本中的一个词对语料库中一篇文档的重要程度，其中Term

Frequency指词频，即某一个给定的词语在该文件中出现的频率，而Inverse

DocumentFrequency指的是逆文档频率

•基本思想是：字词的重要性与它在当前文档中出现的次数(词频)成正比，与

它在整个语料库中出现的频率成反比。例如，某个词在当前这篇文章中出

现的词频较高，并且在其他文章中很少出现，则认为此词具有很好的类别

区分能力，适合作为当前文章的特征词

议程信息增益

议程信息增益

•信息熵在分类问题时其输出就表示文本属于哪个类别的值

•信息增益是信息论中比较重要的一个计算方法，估算系统中新引入的特征

所带来的信息量，即信息的增加量

•信息增益表示在其引入特征的情况下，信息的不确定性减少的程度，用于

度量特征的重要性。可以通过计算信息增益来选择使用哪个特征作为文本

表示

议程互信息

议程互信息

议程卡方统计量

议程词嵌入

•词嵌入是将词转化为向量表示，即使用低维、稠密、实值的词向量来表示

每个词，从而使计算词语相关度成为可能。两个词具有语义相关或相似，

则它们所对应的词向量之间距离相近。度量向量之间的距离可以使用经典

的欧拉距离和余弦相似度等

•在向量空间中，每一个词用1和0组成的向量表示（如

[0,0,0,0,...,0,1,0,...,0,0,0]），有多少个词语就有多少维向量，这就是独热