浅谈文本数据和应用.pdfVIP

浅谈文本数据和应用 兰 伟 西南财经大学 1 个人简介 p 兰伟，西南财经大学统计学院 柠檬科技 有利网 p 研究方向：高维数据分析建模，社交网络数据建模。 p Email:lanwei@ 2 目录 p 结构化数据 非结构化数据 (原料) p 数据建模方法综述 (工具) p 文本数据的分析流程 p 案例分析 p 结论 3 数据的类型 p 数据通常分成结构化数据和非结构化数据 4 数据的建模 p 传统的数据建模分成监督式学习，无监督式学习以及半监督式学习。 p 监督式学习包括线性回归，广义线性回归，神经网络，决策树等。 p 无监督式学习主要包括聚类分析等。 p 目前的统计建模方法，都是针对结构性数据的建模。 5 结构化数据的监督式学习 6 结构化数据的无监督学习 p 聚类分析的应用场景包括客户细分，精准营销 7 文本数据 p 新闻 p 评论 p 微信朋友圈 p 微博 p 短信 8 文本数据的特征 p 文本数据是非结构化数据 p 文本数据的核心是结构化 p 首先通过分词技术，找到描述文本的关键词。然后根据该关键词在一 个文本中是否出现 （或者出现频率），将一段非结构化的自然语言， 表达成为一个0-1向量。 9 文本数据的结构化示例 p 词库：“北京”，“飞机票”，“天津”，“火车票”，“旅游” p 文本：我想去天津旅游 (分词：“我”，“想”，“去”，“天津”，“旅游”) p 我想去天津旅游 (0,0,1,0,1) p 分词和构建合理的词库是中文文本挖掘的前提。 10 文本数据的分词 p 目前R中的分词包主要有：Rwordseg，jiebaR p 统计法 机器学习法 p 词库的构建需要大量的训练样本 11 文本数据的分析流程 搜集训练数据 文本数据的结 监督式学习 构建词库 预处理 构化 无监督学习 12 文本分类问题：市长信箱 p 背景：长春市长信箱，市民可以拨打热线12345进行问题反映。接线 员将市民