基于网络数据采集与LDA主题模型ofo用户评论挖掘.docVIP

基于网络数据采集与LDA主题模型ofo用户评论挖掘 　　【摘 要】 随着共享经济热潮的发展，以ofo为代表的共享单车出现在城市的各个角落。为了挖掘用户在使用共享单车过程中关注的问题，以提高用户体验，本文针对用户评论进行分析。以ofo小黄车为例，抓取了百度ofo贴吧的相关文本数据，并进行文本预处理。通过TF-IDF算法检验文本预处理的效果，同时构建所需语料库以及建立DTM文档―词项矩阵，最终通过LDA主题分析模型，将用户评论分为若干主题，由评论文本提取的用户潜在关注主题对ofo经营发展给出适当分析与建议。 　　【关键词】 共享单车 ofo 爬虫应用 文本挖掘 LDA主题分析 　　1 引言 　　随着信息技术的发展以及国家对共享经济的支持，从2016年底起，以共享单车为代表的共享交通行业快速发展。但是随着用户数量以及竞争对手的增加，用户对共享单车的需求层次也越来越复杂。以ofo为例，复杂的运营环境给自身的发展带来了巨大的成长空间和机遇，而如何抓住机遇是关键所在。本文认为通过文本挖掘发现用户关注祝主题，有针对性的进行单车质量改进以及营销，会提高消费者的用户体验，有助于在错综复杂的市场环境中脱颖而出。 　　文本挖掘主题模型分析是自然语言处理的重要应用领域之一[1]。文本挖掘主要是是指从大量无结构文本信息中发现潜在数据模式，并抽取有价值知识以更好地组织信息的过程[2]。主题模型，即刻画主题的数学模型，是对主题进行形式化描述的方法。Deer wester 等人于1990年提出潜在语义分析（LSA）模型[3]，LSA模型用高维的向量空间模型表示文档，并通过SVM（奇异值分解）对矩阵降维分解，映射到低维的潜在语义空间中，文本分析的研究不再局限于传统的词频统计分析。考虑到LSA模型存在不能辨识同义词和一词多义的不足，Hofmann 等人[4]于1999年提出了基于概率的潜在语义分析（pLSA）模型，使用概率手段获取潜在的主题以及主题与词汇、文档之间的关系，能够为信息提取提供更好的词汇匹配。而第一个完整的主题模型是由Blei 等人[5]提出的潜在狄利克雷分布（LDA），LDA模型是基于三级层次结构的贝叶斯模型。LDA模型在上述模型的基础上使用了潜在主题（topic），并基于贝叶斯网络框架采用Dirichlet先验分布，增强了模型的推广能力和稳健性。很多国内外学者在LDA 模型的基础作出了相关研究，其中国内学者应用于评论的LDA模型研究主要分为三个方面：垃圾评论的发现、情感分析和评论的特征挖掘。刁宇峰等人[6]利用 LDA 模型训练评论的主题模型，从中提取垃圾评论；吕韶华等 [7]提出了用于情感二分类的 Dependency-Sentiment-LDA 模型，模型不仅考虑了情感词所表达的话题语境，而且还考虑了情感词的局部依赖关系；阮光册[8]等结合了知网（HowNet）与 LDA 模型，将用户评论的内容映射到主题上，以此提取主题特征词。王鹏[9]等人在利用LDA模型得到文本的主题分布后，将所得分布作为特征融入传统的向量空间模型，并依据相似度进行文本聚类，再利用主题信息对聚类结果进行聚簇描述。本文主要是针对ofo贴吧文本数据进行评论的特征挖掘，找出ofo用户主要关注点，从而有针对地对ofo运营提出意见。 　　2 数据获取与预处理 　　本文分析的ofo客户体验反映数据来自百度ofo贴吧，爬取的帖子包括截止至2017年5月6日共100页内容（每页包括50个帖子），考虑到贴吧内容与主题相关程度，为了防止因余下楼层的大量灌水评论行为影响实验数据的纯度，文本爬取只选择帖子标题以及1楼发帖人的阐述内容。 　　使用python语言编写脚本进行文本爬取，并通过分析网页源码结构，有选择地爬取符合要求的帖子内容的文本数据，保存为按行分列的文本文件，为后期进行具体分析提供优质的原始数据。使用python语言编写脚本的原因，一方面是python脚本简洁方便的特点为案例实施提供了一定便捷，另一方面，网络数据编码较为复杂，使用集成式网络爬虫工具则会给文本数据的后期处理带来较大的难度。网络数据存在复杂的字符编码格式，尤其是基于评论的文本内容平台来源不一，导致内容编码格式的无序，若不能统一编码，必将对后期数据整理造成障碍。这也即是本文进行文本数据获取的关键所在。 　　同时，实验数据清洗整理部分采用python接口，保证数据在不同平台间使用的稳定性，原始文本数据最终下载为utf-8格式约700k大小的txt文本。爬虫脚本流程图如图1所示： 　　3 文本预处理 　　由于贴吧数据具有不规范性、口语化、碎片化等特点，在进行主题挖掘之前需要对数据进行文本预处理，以为后续的工作提供良好的数据源。根据本文文本数据的特征，对文本进行预处理采取以下几个步骤：特殊字符处理――处理