大数据挖掘与应用 第16章文本分析方法及其应用.pptVIP

图16-7 IT-IDF方法设置界面 得到的结果如图16-8所示。 图16-8算法实验结果 Word2Vec，是Google在2013年开源的一个将词表转为向量的算法，其利用神经网络，可以通过训练，将词映射到K维度空间向量，甚至对于表示词的向量进行操作还能和语义相对应，由于其简单和高效引起了很多人的关注。其字段设置与参数设置如图16-9所示。 图16-9 Word2Vec方法设置界面 得到的结果如图16-10所示，这里省略了f4-f94。 图16-10算法实验结果 16.6 基于阿里云数加平台的文本分析实例 得到的结果如图16-4所示。 图16-4 Split算法实验结果 16.7 小结 TF-IDF是一种用于信息检索与数据挖掘的加权技术, 用来评估一个字词对于一个文件集或一个语料库中的其中一份文件的重要程度。分词技术针对用户提交查询的关键词串进行的查询处理后，根据用户的关键词串用各种匹配方法进行分词的一种技术。常见的分词方法分为三类：基于字典或词库匹配的分词方法、基于词频度统计的分词方法以及基于知识理解的分词方法等。主题模型就是通过大量已知数据训练出文字中所隐含主题的一种建模方法。Word2vec 是 Google 在 2013 年年中开源的一款将词表征为实数值向量的高效工具， 其利用深度学习的思想，可以通过训练，把对文本内容的处理简化为 K 维向量空间中的向量运算，而向量空间上