机器学习（中篇，共上中下3篇）.pptxVIP

文本分析复旦大学赵卫东博士wdzhao@赵卫东复旦大学

章节介绍文本分析是机器学习领域重要的应用之，也称之为文本挖掘。通过对文本内部特征提取，获取隐含的语义信息或概括性主题，从而产生高质量的结构化信息，合理的文本分析技术能够获取作者的真实意图。典型的文本挖掘方法包括文本分类、文本聚类、实体挖掘、观点分析、文档摘要和实体关系提取等，常应用于论文查重、垃圾邮件过滤、情感分析、智能机器和信息抽取等方面本章首先介绍文本分析基础知识，然后对文本特征选取与表示、知识图谱、语法分析、语义分析等常见文本处理技术详细说明，最后介绍文本分析应用赵卫东复旦大学

章节结构文本分析介绍文本特征提取及表示TF-IDF信息增益互信息卡方统计量词嵌入语言模型向量空间模型知识图谱知识图谱相关概念知识图谱的存储知识图谱挖掘与计算知识图谱的构建过程赵卫东复旦大学

章节结构词法分析文本分词命名实体识别词义消歧句法分析语义分析文本分析应用文本分类信息抽取问答系统情感分析自动摘要赵卫东复旦大学

文本分析介绍文本分析的过程从文本获取开始，一般经过分词、文本特征提取与表示、特征选择、知识或信息挖掘和具体应用等步骤赵卫东复旦大学

文本特征提取及表示文本的特征表示是文本分析的基本问题，将文本中抽取出的特征词进行向量化表示，将非结构化的文本转化为结构化的计算机可以识别处理的信息，然后才可以建立文本的数学模型，从而实现对文本的计算、识别、分类等操作。通常采用向量空间模型(VectorSpaceModel,VSM)来描述文本向量，在保证原文含义的基础上,找出最具代表性的文本特征，与之相关的有TF-IDF、信息增益(InformationGain)和互信息(MI)等赵卫东复旦大学

议程TF-IDFTF-IDF(TermFrequency-InverseDocumentFrequency)是一种文本统计方法，主要用来评估文本中的一个词对语料库中一篇文档的重要程度，其中TermFrequency指词频，即某一个给定的词语在该文件中出现的频率：InverseDocumentFrequency指的是逆文档频率：基本思想是：字词的重要性与它在当前文档中出现的次数(词频)成正比，与它在整个语料库中出现的频率成反比。例如，某个词在当前这篇文章中出现的词频较高，并且在其他文章中很少出现，则认为此词具有很好的类别区分能力，适合作为当前文章的特征词赵卫东复旦大学

议程信息增益?赵卫东复旦大学

议程信息增益信息熵在分类问题时其输出就表示文本属于哪个类别的值信息增益是信息论中比较重要的一个计算方法，估算系统中新引入的特征所带来的信息量，即信息的增加量信息增益表示在其引入特征的情况下，信息的不确定性减少的程度，用于度量特征的重要性。可以通过计算信息增益来选择使用哪个特征作为文本表示赵卫东复旦大学

议程互信息?赵卫东复旦大学

议程互信息?赵卫东复旦大学

议程卡方统计量?赵卫东复旦大学

议程词嵌入词嵌入是将词转化为向量表示，即使用低维、稠密、实值的词向量来表示每个词，从而使计算词语相关度成为可能。两个词具有语义相关或相似，则它们所对应的词向量之间距离相近。度量向量之间的距离可以使用经典的欧拉距离和余弦相似度等在向量空间中，每一个词用1和0组成的向量表示（如[0,0,0,0,...,0,1,0,...,0,0,0]），有多少个词语就有多少维向量，这就是独热（one-hot）表示方法。如果要表示句子，则用句中的多个词构成一个向量矩阵。很明显，某种语言的词汇数量越多，词向量就越大，而句子的向量矩阵就会越大。但是，one-hot表示方法存在“词汇鸿沟”问题，即词与词之间没有同义、词序、搭配等关联信息，仅从词的向量中看不出两个词之间关系。为了解决这一问题，就需要对词向量进行训练，建立词向量之间的关系。训练方法是通过大量的现有语料句子传入神经网络模型中，用模型的参数来表示各个词向量之间的关系赵卫东复旦大学

议程词嵌入训练词向量的典型工具有Word2Vec和GloVe等Word2Vec认为经常在一个句子中出现的词语相似度是比较高的，即对于一个中心词，最大化周边单词的概率。Word2Vec采用三层网络进行训练，最后一层采用霍夫曼树(Huffman)来预测GloVe是通过共现计数来实现的:首先，构建一个词汇的共现矩阵，每一行是一个词，每列是句子。通过共现矩阵计算每个词在每个句子中出现的频率。由于句子是多种词汇的组合，其维度非常大，需要降维，即对共现矩阵进行降维Word2Vec和Glove比较容易且快速地融合新的句子加入词汇表进行模型训练Glove在并行化处理上更有优势，处理速度较快赵卫东复旦大学

议程词嵌入gensim是一款开源的Python工具包，用于从文本