大数据融合分析应用的多角色探索.docxVIP

大数据融合分析应用的多角色探索 大数据时代的到来，数据共享与开放机制成熟，大数据融合分析应用中新角色和职责随之产生。本文介绍了在大数据融合分析应用中主要扮演的多角色，各角色的分工任务及配合。一、引言随着计算机和信息技术的迅猛发展和普及应用，行业应用系统的规模迅速扩大，行业应用所产生的数据呈爆炸性增长。大数据相关技术紧紧围绕数据价值化展开，数据价值化将开辟出广大的市场空间，重点在于数据本身将为整个信息化社会赋能。随着大数据的落地应用，大数据的价值将逐渐得到体现。党中央、国务院高度重视大数据在经济社会发展中的作用，党的十八届五中全会提出“实施国家大数据战略”，党的十九大明确提出要加快推进信息化，建设“数字中国”、“智慧社会”，党的十九届四中全会提出“推进数字政府建设，加强数据有序共享”。推进政务数据汇聚共享和综合应用，是新时代推进国家治理体系和治理能力现代化的必然要求。为抢抓大数据发展重要战略机遇，围绕加强政务、行业、互联网数据共享利用，促进“数字政府”建设和经济社会发展，大数据融合分析应用至关重要。二、大数据的特征大量：随着信息技术的高速发展，数据开始爆发性增长。社交网络(微博、推特、脸书)、移动网络、各种智能工具，服务工具等，都成为数据的来源。淘宝网近4亿的会员每天产生的商品交易数据约20TB；脸书约10亿的用户每天产生的日志数据超过300TB。迫切需要智能的算法、强大的数据处理平台和新的数据处理技术，来统计、分析、预测和实时处理如此大规模的数据。高速：大数据对处理速度有非常严格的要求，服务器中大量的资源都用于处理和计算数据，很多平台都需要做到实时分析。数据无时无刻不在产生，谁的速度更快，谁就有优势。数据类型繁多也对数据的处理能力提出了更高的要求。多样：大数据时代，数据格式越来越多样化，包含了文本、音频、图片、视频、网络日志、地理位置信息、模拟信号等不同类型；数据来源也越来越多样化，不仅产生于内部平台，也来自外部数据，从而决定了大数据形式的多样性。价值：现实世界所产生的数据中，有价值的数据所占比例很小。相比于传统的小数据，大数据最大的价值在于通过从大量不相关的各种类型的数据中，挖掘出对未来趋势与模式预测分析有价值的数据，并通过机器学习方法、人工智能方法或数据挖掘方法深度分析，发现新规律和新知识。三、大数据融合分析的基础支撑环境从大数据融合分析应用的角度来看，基础支撑环境离不开软硬件和大数据技术的支撑，包括资源池层、服务层、管理层、辅助技术平台层。从大规模数据融合分析的需求考虑，大数据架构平台技术选型上要求采用开源的分布式技术架构为基础进行搭建，以具备开放融合的数据采集、数据存储、数据分析的服务能力。采用云计算技术构建统一的基础设施、支撑软件、应用功能、信息资源、运行保障和信息安全等服务，为数据融合分析应用提供敏捷、可靠、安全、弹性的IT基础支撑环境。（一）资源池层资源池层包含了基础设施、及通过云平台软件和大数据平台软件在基础设施之上抽象出云资源池和大数据资源池，云资源池包括云计算、云存储、云网络等资源池，大数据资源池包括Hadoop资源池和MPPDB资源池，各种资源池可以根据大数据融合分析应用进行构建。（二）服务层服务层通过对资源池层各类资源的封装，通过分布式的算法进行资源的分配，从而消除物理边界，提升资源利用率，统一资源池分配。实现资源服务的发现、路由、编排、计量、接入等功能，显现从资源到服务的转换。云资源池服务主要包括计算资源服务（虚拟机服务、物理机服务、镜像服务等）、存储资源服务（块存储服务、对象存储服务、文件存储服务等）、网络资源服务（虚拟私有云、安全组服务、虚拟防火墙服务、弹性负载均衡、弹性IP服务等）、虚拟数据中心、硬件托管服务等。大数据资源池服务主要包括H a d o o p资源服务（HDS、RDS）、MPPDB资源服务（ADS）等。（三）管理层管理层包含整体运营、运维管理及公共组件的管理，包括VDC管理、租户管理、服务控制台、资源管理、拓扑管理、性能管理以及安全管理等。其中安全管理包括主机安全、数据安全、应用安全、管理安全等方面的相关管理。（四）辅助技术平台层采用大数据技术构建海量数据的存储、计算平台，为大数据融合分析应用务提供开放、高效的大数据存储、分析、挖掘等服务。大数据融合分析应用需要通过辅助技术平台，实现多种数据源融合、处理、分析，完成大数据融合分析协调工作，进行数据分析、指标预警、专题报告、舆情分析、报表分析、决策支持等综合性分析服务工作。应用以自然语言处理、数据挖掘、机器学习等算法模型为手段，能够支撑辅助决策分析的数据分析人员及其他使用者对数据进行一系列的操作，最终实现数据分析工作人员在线交互式的大数据协同分析