唯品会舆情监控系统.docxVIP

唯品会舆情监控系统 唯品会作为国内进展快速的大型电商之一，在微博、微信、贴吧、app 应用市场等各大网络渠道上，每天会有大量关于唯品会的用户沟通、评论、反馈等舆情信息产生。而这些舆情信息中，往往包含着对公司的各种建议、用户心声、体验反馈等有用信息。因而，收集并分析用户的评论反馈，对于企业了解用户的心声和需求、提升用户体验、提高运营效率等方面将有较大的挂念，同时也是产品制定需求的重要参考依据。不过，目前的用户反馈、评论收集、评论分析工作存在着如下次要问题： 各个渠道的用户反馈评论信息分散、琐碎，不利于收集，人工爬取评论的速度较慢，成本较高； 评论的数量很多且非结构化, 分类及语义分析依靠人工效率低下； 预警的速度较慢，消灭问题无法准时预警，等到发觉时，损失已形成； 无法对线上舆情构成长期有效的监控，可读性不好，用户体验差。 而互联网舆情监控系统可以很好地处理上述问题，它利用爬虫、搜索引擎、文本挖掘等技术，通过对网络上相关的信息自动采集处理、智能聚类分类、统计分析等，实现各方对本人相关网络舆情监督管理的需要，最终准时构成舆情分析报告、舆情预警等信息，为相关人员全面把握舆情动态、了解用户心声、调整制定方针政策，供应分析依据。 总体引见 目前，市面上有腾讯企鹅风讯、百度舆情、七麦数据等舆情监控系统，这些系统能对市面的上的主流应用 app，通过分布式爬虫抓取各大应用市场、主流论坛、微博等渠道的用户评论，并对爬取到的信息进行汇总、智能分类、报表输出等。这些舆情分析系统能简化运营、产品对用户口碑的收集工作，在供应专业的运营质量分析的同时，节省了项目人力。市面上的这些系统虽然能为我们供应一些分析和参考数据，但是也存在肯定的局限性，如数据来源有限（一般只能供应微博、app 应用市场、论坛等渠道的用户评论信息）、无法实现定制化需求等，因而格外有必要开发属于唯品会本人的舆情监控系统，实现丰富的数据来源、各种定制化的功能需求等。 当前唯品会舆情系统评论数据订阅来源次要有各大 App 应用市场用户评论、评论和唯品会内部的客服留言。在猎取这三部分数据后，会做长久化存储，用于后期的文本挖掘分析，如图 1 所示。 图 1：数据来源 系统会对猎取的这些评论信息进行情感判定、文本分词、评论分类、词频分析等计算分析工作。舆情系统全体架构设计如图 2 所示，分为舆情采集、舆情分析、舆情应用三大模块。图 3 是我们已经上线的舆情系统，本文将着重引见舆情分析模块中的几个重要功能模块。 图 2：舆情系统次要模块 图 3：系统呈现 系统架构 上面已经简约引见过唯品会舆情系统的次要模块，围绕这些模块，我们实现了整个系统，其基本架构如图 4 所示，下面将具体引见情感分析、文本分词、词频分析、分类分析四个核心系统功能模块的实现。 图 4：系统架构图 情感分析 传统的文本情感分类一般基于情感词典，它是对人的记忆和思维推断的简约的模仿，如图 5 所示。首先通过学习来记忆一些基本语料词汇，比如乐观、消极和否定词语，这些基本词汇在人们的大脑中构成一个基本的语料库。然后，我们再对输入的语句进行拆分，看所记忆的词汇表中能否存在相应的词语，最终依据这些记忆中的词语类别来推断情感。 图 5：传统情感分析 基于上述思路，我们设计了本人的基于词典的情感分析模块，次要如下： 1、情感词典设计 与传统方法不同的是，我们的情感词典分为三个部分：乐观确定情感语料库、消极否定情感语料库和干扰语料库，如图 6 所示。为了得到愈加完整的情感词典，我们从网络上收集了若干个情感词典，并且对它们进行了去重整合和调整。对于收集而来的词典并非进行简约地整合，而是有针对性地对词典进行了去杂和更新，以达到尽可能高的精确?????率。比如，加入了针对我们电商行业相关的一些行业词汇，以添加精确?????率。此外，引入干扰语料库的目的是排解一些如“能不能”、“可不行以”等简约误判为乐观确定或者消极否定的词。 图 6：情感词典 2、基本算法 基于情感词典的文本情感分类规章算法比较简约，它将每个情感词语赐予的肯定的权重值：$w$ （权重值需要依据具体行业、业务等做调整），一般来说，乐观确定的词语赐予负数值，我们用：$w_{p}$ 表示，而消极否定的词赐予负数值我们用：$w_{n}$ 表示，并且情感权重值满足线性叠加原理。每条评论在剔除干扰词汇后，分别进行乐观确定和消极否定的权重计算。例如，评论中既包含乐观确定词汇也包含消极否定词汇，将评论命中的乐观确定的权重值线性叠加，得到该条评论的乐观确定权重值： 而将命中的消极否定的权重值线性叠加得到消极否定权重值： 极性综合判定将得到的乐观权重值和消极权重值线性叠加，然后依据用户设定的评论极性权重阀值，最终判定评论的极性，整个情感判定规律如图 7 所示。 图 7：情感分析规律图 3、实现效果 基于