非结构化数据分析 文本特征提取技术.pptVIP

文本特征提取 2019-6-9 五校联合 大数据分析硕士培养 非结构化数据分析 主要内容 2019-6-9 非结构化数据分析 文本表示 特征提取 特征权重 文本表示 第一讲：文本挖掘简介 2019-6-9 非结构化数据分析 文本表示及文本预处理 2019-6-9 非结构化数据分析 去掉html一些tag标记 停用词(stop words)去除、词根还原(stemming) (中文)分词、词性标注、短语识别、… 词频统计(TFIDF) 数据清洗：去掉噪声文档或文档内垃圾数据 向量空间模型[G.Salton,1971] 2019-6-9 非结构化数据分析 向量空间模型(Vector Space Model) 自然语言处理常用模型 基本概念 文档（Document）：句子、段落、整篇文章 特征项（Term/Feature）：词根/词/短语/其他 项的权重（Weight）：每个特征项在文档中的重要程度。 VSM示意图—数据结构化一般思路 2019-6-9 非结构化数据分析 特征词1 特征词2 特征词3 …… 特征词n 文档1 权重11 权重12 权重13 …… 权重1n 文档2 权重21 权重22 权重23 …… 权重2n 文档3 权重31 权重32 权重33 …… 权重3n 文档4 权重41 权重42 权重43 …… 权重4n …… …… …… …… …… …… 文档m 权重m1