基于大数据的舆情分析系统架构（架构篇）.docxVIP

基于大数据的舆情分析系统架构（架构篇） 互联网的飞速进展促进了很多新媒体的进展，不论是知名的大 V，明星还是围观群众都可以通过手机在微博，伴侣圈或者点评网站上发表形态，共享本人的所见所想，使得“人人都有了麦克风”。不论是热点旧事还是消遣八卦，传播速度远超我们的想象。可以在短短数分钟内，有数万计转发，数百万的阅读。如此海量的信息可以得到爆炸式的传播，如何能够实时的把握民情并作出对应的处理对很多企业来说都是至关重要的。大数据时代，除了媒体信息以外，商品在各类电商平台的订单量，用户的购买评论也都对后续的消费者产生很大的影响。商家的产品设计者需要汇总统计和分析各类平台的数据做为依据，打算后续的产品进展，公司的公关和市场部门也需要依据舆情作出相应的准时处理，而这一切也意味着传统的舆情系统升级成为大数据舆情采集和分析系统。 分析完舆情场景后，我们再来具体细化看下大数据舆情系统，对我们的数据存储和计算系统提出哪些需求： 海量原始数据的实时入库：为了实现一整套舆情系统，需要有上游原始输出的采集，也就是爬虫系统。爬虫需要采集各类门户，自媒体的网页内容。在抓取前需要去重，抓取后还需要分析提取，例如进行子网页的抓取。 原始网页数据的处理：不论是主流门户还是自媒体的网页信息，抓取后我们需要做肯定的数据提取，把原始的网页内容转化为结构化数据，例如文章的标题，摘要等，假如是商品点评类消息也需要提取有效的点评。 结构化数据的舆情分析：当各类原始输出变成结构化的数据后，我们需要有一个实时的计算产品把各类输出做合理的分类，进一步对分类后的内容进行情感打标。依据业务的需求这里可能会产生不同的输出，例如品牌当下能否有热点话题，舆情影响力分析，转播路径分析，参与用户统计和画像，言论情感分析或者能否有严重预警。 舆情分析系统两头和结果数据的存储，交互分析查询：从网页原始数据清洗到最终的舆情报表这两头会产生很多类型的数据。这些数据有的会供应应数据分析同学进行舆情分析系统的调优，有的数据会供应应业务部门依据舆情结果进行决策。这些查询可能会很机警，需要我们的存储系统具备全文检索，多字段组合机警的交互分析力量。 严重舆情大事的实时预警：对于舆情的结果除了正常的搜索和呈现需求以外，当有严重大事消灭我们需要能做到实时的预警。 我们方案分两篇引见完整的舆情新架构，第一篇次要是供应架构设计，会先引见时下主流的大数据计算架构，并分析一些优缺点，然后引入舆情大数据架构。其次篇会有完整的数据库表设计和部分示例代码。大家敬请期盼。 系统设计 需求分析 结合文章开头对舆情系统的描述，海量大数据舆情分析系统流程图大体如下： 图 1 舆情系统业务流程 原始网页存储库，这个库需要能支持海量数据，低成本，低延时写入。网页数据写入后，要做实时结构化提取，提取出来的数据再进行降噪，分词，图片 ocr 处理等。对分词文本，图片进行情感识别产生舆情数据结果集。传统的离线全量计算很难满足舆情系统的时效性需求。 计算引擎在做数据处理时，可能还需要从存储库中猎取一些元数据，例如用户信息，情感词元数据信息等。 除了实时的计算链路，对存量数据定期要做一些聚类，优化我们的情感词识别库，或者上游依据业务需要触发情感处理规章更新，依据新的情感打标库对存量数据做一次舆情计算。 舆情的结果数据集有不同类的使用需求。对于严重舆情，需要做实时的预警。完整的舆情结果数据呈现层需要支持全文检索，机警的属性字段组合查询。业务上可能依据属性字段中的相信度，舆情时间，或者关键词组合进行分析。 依据前面的引见，舆情大数据分析系统需要两类计算，一类是实时计算包括海量网页内容实时抽取，情感词分析并进行网页舆情结果存储。另一类是离线计算，系统需要对历史数据进行回溯，结合人工标注等方式优化情感词库，对一些实时计算的结果进行矫正等。所以在系统设计上，需要选择一套既可以做实时计算又能做批量离线计算的系统。在开源大数据处理方案中，Lambda 架构恰好可以满足这些需求，下面我们来引见下 Lambda 的架构。 Lambda 架构 （wiki） 图 2 Lambda 架构图 Lambda 架构可以说是 Hadoop，Spark 体系下最火的大数据架构。这套架构的最大优势就是在支持海量数据批量计算处理（也就是离线处理）同时也支持流式的实时处理（即热数据处理）。 具体是如何实现的呢，首先上游一般是一个队列服务例如 kafka，实时存储数据的写入。kafka 队列会有两个订阅者，一个是全量数据即图片中上半部分，全量数据会被存储在类似 HDFS 这样的存储介质上。当有离线计算任务到来，计算资源（例如 Hadoop）会访问存储系统上的全量数据，进行全量批计算的处理规律。经过 map/reduce 环节后全量的结果会被写入一个结构化的存储引擎例如 Hbase 中，供应应业