机器学习 第5章 文本分析.pptxVIP

第5章 文本分析;章节介绍;章节结构;章节结构;文本分析介绍;文本特征提取及表示;TF-IDF TF-IDF (Term Frequency- Inverse Document Frequency)是一种文本统计方法，主要用来评估文本中的一个词对语料库中一篇文档的重要程度，其中Term Frequency指词频，即某一个给定的词语在该文件中出现的频率： Inverse Document Frequency指的是逆文档频率： 基本思想是：字词的重要性与它在当前文档中出现的次数(词频)成正比，与它在整个语料库中出现的频率成反比。例如，某个词在当前这篇文章中出 现的词频较高，并且在其他文章中很少出现，则认为此词具有很好的类别 区分能力，适合作为当前文章的特征词;信息增益;信息增益 信息熵在分类问题时其输出就表示文本属于哪个类别的值 信息增益是信息论中比较重要的一个计算方法，估算系统中新引入的特征所带来的信息量，即信息的增加量 信息增益表示在其引入特征的情况下，信息的不确定性减少的程度，用于度量特征的重要性。可以通过计算信息增益来选择使用哪个特征作为文本表示;互信息;互信息;卡方统计量;词嵌入 词嵌入是将词转化为向量表示，即使用低维、稠密、实值的词向量来表示每个词， 从而使计算词语相关度成为可能。两个词具有语义相关或相似，则它们所对应的词向量之间距离相近。度量向量之间的距离可以使用经典的欧拉距离和余弦相似度等 在向量空间中，每一个词用1和0组成的向量表示（如 [0,0,0,0,...,0,1,0,...,0,0,0]），有多少个词语就有多少维向量，这就是独热（ one-hot）表示方法。如果要表示句子，则用句中的多个词构成一个向量矩 阵。很明显，某种语言的词汇数量越多，词向量就越大，而句子的向量矩 阵就会越大。但是，one-hot表示方法存在“词汇鸿沟” 问题，即词与词之间没有同义、词序、搭配等关联信息，仅从词的向量中看不出两个词之间关系。为了解决这一问题，就需要对词向量进行训练，建立词向量之间的关系。训练方法是通过大量的现有语料句子传入神经网络模型中，用模型的参数来表示各个词向量之间的关系;词嵌入 训练词向量的典型工具有Word2Vec和GloVe等 Word2Vec认为经常在一个句子???出现的词语相似度是比较高的，即对于一个中心词， 最大化周边单词的概率。Word2Vec采用三层网络进行训练，最后一层采用霍夫曼树(Huffman) 来预测 GloVe是通过共现计数来实现的:首先，构建一个词汇的共现矩阵，每一行是一个词， 每列是句子。 通过共现矩阵计算每个词在每个句子中出现的频率 。由于句子是多种词汇的组合，其维度非常大，需要降维，即对共现矩阵 进行降维 Word2Vec和Glove比较容易且快速地融合新的句子加入词汇表进行模型训练 Glove在并行化处理上更有优势，处理速度较快;词嵌入 gensim是一款开源的Python工具包，用于从文本中无监督地学习文本隐层的向量表示，并提供了相似度计算、信息检索等API接口。以下是gensim官网上训练和使用Word2Vec模型的demo代码 from gensim.models import Word2Vec from gensim.models.word2vec import LineSentence sentences = LineSentence(sentence_list.txt) model = Word2Vec(sentences, size=128, window=5, min_count=5, workers=4) items = model.most_similar(学习) for item in items: print item[0], item[1] model.similarity(英语, 数学);语言模型;语言模型 n-gram模型也称为n-1阶马尔科夫模型，它是一个有限历史假设，即当前词 的出现概率仅仅与前面n-1个词相关。当n取1、2、3时，n-gram模型分别称 为unigram、bigram和trigram语言模型。n越大，模型越准确，也越复杂，需要的计算量就越大。最常用的是bigram，其次是unigram和trigram，n取≥4的情况较少 一般使用困惑度进行语言模型评测 训练工具有SRILM和rnnlm;语言模型 基于SRILM工具，可以用如下命令生成语言模型： ngram-count -text input.txt -lm output.lm 其中，input.txt是经过分词后的语料文本，每一行是一个句子。生成词频统计和语言模型保存在count.lm文件中。 执行如下命令可以基于语言模型来生成测试语句的困惑度： ngr