基于DubboNoSQL工业领域大数据平台研究.docVIP

基于DubboNoSQL工业领域大数据平台研究.doc

  1. 1、原创力文档(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。。
  2. 2、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载
  3. 3、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
  4. 4、该文档为VIP文档,如果想要下载,成为VIP会员后,下载免费。
  5. 5、成为VIP后,下载本文档将扣除1次下载权益。下载后,不支持退款、换文档。如有疑问请联系我们
  6. 6、成为VIP后,您将拥有八大权益,权益包括:VIP文档下载权益、阅读免打扰、文档格式转换、高级专利检索、专属身份标志、高级客服、多端互通、版权登记。
  7. 7、VIP文档为合作方或网友上传,每下载1次, 网站将根据用户上传文档的质量评分、类型等,对文档贡献者给予高额补贴、流量扶持。如果你也想贡献VIP文档。上传文档
查看更多
基于DubboNoSQL工业领域大数据平台研究

基于DubboNoSQL工业领域大数据平台研究   摘要:基于Dubbo与NoSQL的工业领域大数据平台,是在互联网技术不断发展的趋势下,将传统工业与大数据技术相结合的产物。随着计算机硬件性能的不断提升以及互联网技术的高速发展,以往在工业领域内海量数据无法处理的局面得到了根本性的解决。大数据平台充分结合了传统工业领域,尤其包括电力行业、建筑行业、污水处理行业的各自特点。在不同场景的业务需求下,Dubbo+NoSQL的技术提供了对工业领域海量数据进行接收、存储、计算、分析及展示的解决方案。不仅改变了以往传统行业技术落后的现状,平台更加注重对传统行业的数据进行专业化处理,对低价值密度的数据进行加工,实现数据的增值。对行业安全、行业发展、行业数字化都具有十分重要的意义。   关键词:Dubbo;NoSQL;MongoDB;工业领域   中图分类号:TP311 文献标识码:A 文章编号:1007-9416(2017)07-0064-04   由于传统工业领域对海量数据的分析及存储能力不足,各个领域对上送的数据通常采取舍弃的处理方式。以电力行业新能源领域的集中式光伏电站为例,一个百兆瓦的集中式光伏电站有数以千计的设备,每个设备又有不同数量的遥测、遥信、遥控及遥调信息,大量的设备数据会以每分钟甚至每秒钟的频率进行上送。因此传统行业管理系统面临以下问题。   (1)系统性能处理瓶颈。由于需要接收、处理的数据量过大,系统的负荷过高,无法对数据进行实时、可靠、深挖掘的处理,因此传统领域的系统对海量数据往往只能采取不接收,或者接收不存储、不分析的解决方案。   (2)系统存储能力不足。由于大数据在高并发环境下的关系型数据库应用开发越来越复杂,也越来越具有技术挑战性。虽然关系型数据库例如MySQL可以存储一些大文本字段,但是会导致数据库表非常的大,不利于快速恢复数据库。关系型数据库虽然功能强大,但是已经不能很好的应对所有的应用场景。   (3)系统扩展性差。当需要有新的功能对原系统进行补充时,传统管理系统的扩展性较差。无法做到功能模块可插拔,进而无法快速适应业务的不断变化,增大了开发难度和维护难度。   1 研究内容   针对工业领域传统系统的不足,本系统采用Dubbo与NoSQL的分布式架构,对工业领域大数据进行处理。系统以Dubbo为大数据处理核心,以NoSQL为大数据存储核心,使以往工业领域中的海量数据的处理及存储有了可能。   1.1 Dubbo技术   1.1.1 技术背景   随着工业领域数据规模不断扩大,常规的架构已无法应对,急需一个大数据平台对工业领域数据进行管理。   如图1所示,当工业领域的数据量很小时,只需要一个应用便可以将所有功能部署在一起,减少部署节点和成本。此时,使用数据访问框架(ORM)对数据进行增删改查即可满足工业领域需求。   随着数据量越来越大,单一应用通过增加机器的方式带来的速度提升越来越小,针对此问题的普遍做法是将应用拆分成互不相干的几个应用,以提升效率。   但当垂直应用越来越多时,应用之间的交互不可避免,因此之后又发展出了用于提高业务复用及整合的分布式服?湛蚣埽?RPC)。   最后,当服务越来越多时,容量的评估、小服务资源的浪费问题逐渐显现,此时资源调度和治理中心(SOA)出现,对集群容量进行调度提升集群利用率。   Dubbo便是一个分布式服务框架,致力于提供高性能和透明化的RPC远程服务调用方案以及SOA服务治理方案。通过使用Dubbo框架,便可以解决工业领域内海量数据处理以及应用越来越多的问题。   1.1.2 架构及特点   Dubbo架构图如图2。   Dubbo有几个关键节点的角色:   (1)Container:服务运行容器。   服务调用时,Container负责启动、加载,并运行服务提供者。   (2)Provider:暴露服务的服务提供商。   服务提供者在启动时,向注册中心注册自己提供的服务;   (3)Consumer:调用远程服务的服务消费方。   服务消费者在启动时,向注册中心订阅自己所需的服务;   (4)Registry:服务注册于发现的注册中心。   注册中心返回服务提供者地址列表给消费者,如果有变更,将基于长连接推送变更数据给消费者;   (5)Monitor:监控中心。   用于统计服务的调用次数和调用时间。   其中,服务消费者基于软负载均衡算法,从提供者地址列表中选一台提供者进行调用,如果调用失败,再选另一台调用。服务消费者和提供者,在内存中累计调用次数和调用时间,定时每分钟发送一次统计数据到监控中心。   Dubbo透明化的远程方法调用,就像调用本地方法一样,只需简单配置,不需要任何API侵入;

文档评论(0)

bokegood + 关注
实名认证
文档贡献者

该用户很懒,什么也没介绍

1亿VIP精品文档

相关文档