基于云计算的大数据分析流程优化路径研究.docx

?

?

基于云计算的大数据分析流程优化路径研究

?

?

熊俊

摘要：随着计算机网络技术不断升级，以大数据、云计算为主要代表的现代信息技术得以广泛应用。基于云计算的大数据分析体系已经成为解决大数据技术应用和运行方面问题的主要支撑。云计算环境下大数据平台建设需要考虑各类要素的集成，并要对数据进行不断整合和高效处理，才能切实发挥云计算应有的性能。本文基于云计算对大数据分析流程优化路径进行了深入研究，提出了具体的对策，以供参考。

关键词：云计算；大数据；分析；流程优化；路径；技术；发展

中圖分类号：TP311：A

：1009-3044（2019）08-0181-02

近年来随着科技时代到来，大数据、云计算已成为全球关注的热点，云计算正处于高速发展的信息时代，数据也成为重要的资源备受关注。在大数据分析流程中，逐渐引入了云计算技术对其进行不断优化升级，从而进一步提升数据分析效率和质量，减少海量数据处理时间，提升系统响应能力。加强基于云计算的发数据分析流程优化路径探析，具有深远的现实意义。

1大数据基本内涵及基本处理流程分析

大数据是指通过常规的手段和方法难以对海量数据进行处理，只能依靠高端信息处理技术和方法对海量的数据在有限的时间内进行感知、获取、加工、管理、处理和共享应用的数据体系。大数据通常具有四个显著的特点，分别为体量大、模态多样、生成快速以及价值大密切低。大数据技术是对传统数据处理技术和方法的进一步升级，随着云计算理念的提出，以及相关体系内部系列技术的出现，越来越多的云计算技术平台产生，为大数据处理提供了更好的技术服务平台，对大数据处理流程优化也带来了很大的便利。

大数据整体处理流程通常可以分成四个部分，分别为数据采集、数据处理和集成、数据分析、数据解释。第一步是进行数据采集，对数据各个端口来源的信息进行全面采集，并实现预处理，从而为后续数据计算和分析奠定基础，提供可靠统一的数据格式。随后按照既定的数据算法对数据进行计算分析，最后利用可视化手段将分析完成的数据结果传递至用户端。

在数据采集阶段，随着计算机互联网技术不断发展和广泛应用，数据来源也日益庞大，生产数据的环节也在不断增多，从而大大提高了数据的产量，数据之间的关联度等也越来越复杂，对数据采集提出了更高的速度和精度要求。所以需要对传统的数据整合处理技术进行不断优化升级，才能够在最短的时间内将海量复杂的数据通过一定的技术和方法实现快速简化处理，提高数据整合、处理和利用分享水平，更好地为用户服务。如果单纯地依靠传统的大数据处理技术，随着信息量不断增大，将难以应对未来高产量数据信息变化带来的挑战。所以需要对数据处理流程进行全面整合，并探索更加有效的优化处理技术，才能更好地提升数据资源的利用价值和服务效能。

在大数据处理基本流程体系中，根据四个不同的运行阶段，有不同的要求。在数据处理与集成阶段，主要是对前一阶段采集到的各类数据通过格式化、去噪等方式进行预处理，并占华为统一的数据结构。在这个过程中由于数据类型比较复杂，还有很多的无效数据需要去除，转化为统一的数据格式才能更好地加以利用，所以通常需要设计过滤器等方式来将无效数据去除，转化为统一格式的有效数据。在数据分析阶段，主要是对完成采集和整理的数据进行进一步分析，根据数据应用需求以及价值功能方向，对原始采集的数据进行进一步的处理，通常应用数据挖掘工具或者数据仓库工具等进行集中信息处理和分析，目前在数据分析方面，有很多的大数据分析服务商提供了专业的服务软件和支撑产品，从而有助于更好地对数据进行全面深度分析。数据解释主要是对数据分析结果进行进一步展现的过程。随着数据信息量不断增大，传统的数据显示或展现模式已经不能满足数据分析结果输出的要求，数据可视化技术的出现和应用为数据解释和直观展现提供了重要的技术支持，通过应用可视化技术，可以对数据分析结果直观形象地向用户展现，从而提高数据深度利用价值。

2云计算与大数据分析关系研究

云计算是为了更好地为互联网提供服务，而设置的一种增加、使用以及交付模式，借助互联网可以提供动态且易扩展的虚拟化资源，是属于按使用量付费的一种模式。这种模式下用户可以根据自己的需求进行便捷访问，并获取相应的资源，从而更好地加以利用。数据分析作为大数据处理流程中最重要的部分，体现了数据的价值，基于大数据的数据分析是指对获取的海量的数据通过一定的技术和方法来进行快速整合和深度处理的过程。作为大数据分析的重要支撑平台，云计算技术可以为大数据分析提供更加灵活和迅速的部署方案，从而提高大数据分析结果的精准度，同时云计算技术为大数据分析提供了扩展性更强和更具经济性的存储于计算资源，为深度应用奠定了技术。总体上看，大数据技术属于云计算计算的延伸和拓展，大数据技术从数据采集获取到储存处理与应用，整个过程中需要应用大量的技术，