IT架构在大数据时代的转型推进研究.docxVIP

IT架构在大数据时代的转型推进研究 摘要：近年来，大数据技术在我国的通信、金融、交通等行业快速的得到了关注与应用，谁能先使用大数据技术帮助企业完成数字化的战略转型，谁就能先占据市场的领导地位。而大数据技术的爆发性增长且能在企业快速发展的原因，很大一部分需要归功于计算机科学领域前几十年的完整高效的IT架构积累。本文通过从传统、典型的两种IT架构模式，分布式软件架构与微服务架构两个角度，分析IT架构如何在大数据时代的转型起到推进作用。 关键字：IT架构；大数据；分布式；微服务 1引言 在疫情的影响下，越来越多的企业开始进行大规模数字化转型，在这种转型的过程中，大数据技术的应用以及大数据分析平台的搭建成为了重中之重。但是面临着大数据时代，数据繁杂，来源多样，且数据量庞大的情况，企业如何能够选用优秀的IT架构，以及如何将优秀的IT架构能够更好地符合企业不同的业务要求，切合地应用到企业的战略中去，是在大数据转型中目前很多企业和系统架构专家需要主要考虑的事情。本文在这种背景下，对两种优秀的IT架构，分布式架构和微服务架构，在大数据时代的企业的大数据平台搭建过程中所做出的贡献进行了分析，希望能够为企业和社会的大数据转型提供一些参考与帮助。 2 IT架构概念介绍 2.1?分布式架构 分布式部署架构通常是为了处理在段时间内产生的巨大数据量，并要求在很短的时间内将计算结果计算出来的任务，分布式架构的解决办法是使用很多台独立的服务器或者计算主机，然后将其连接起来成为一个分布式的网络，其中在这个分布式网络架构中的每一个计算主机，在分布式架构中，一般将其成为分布式系统的一个节点[1]。在一个分布式架构中，会根据系统所需要处理的业务逻辑，设置不同的节点格式。分布式部署使用这种一个网状的节点架构，来实现节点之间的相互配合与协作。比如当一个超高难度的计算任务来到分布式架构的时候，分布式架构的主进程会根据预先依据系统的业务逻辑设定好的代码，来将这个大的任务拆分成很多个可以独立计算的子任务，将其分发给在这个分布式架构中的不同节点上，然后分布式架构中这些计算节点会根据所设置的代码运算的算法进行同时运算，并且能够将计算的结果通过记录到主节点和传输到一起。主节点根据分布式系统中不同节点已经计算出的结果，最后会将每个节点上计算出来的数据进行总结。最后可以实现在极短的时间里完成大数据时代时单个服务器或者主机的传统架构不能解决的大数据难题。 2.2?微服务架构 在微服务出现之前，人们通过MONILITHIC（单体架构）来开发应用，一个系统的应用只使用一套代码。使用这种模式设计的系统中的所有功能与对外服务都编写于一套代码中，但是随着系统的升级迭代，以及系统业务的变化，系统中的模块会越来越多，如果系统想要升级或者扩展，都变得非常困难。特别是当所有模块的代码放在一起的时候，如果其中一个模块的代码出现了BUG，那么整个系统就将全部崩溃，无法继续运行下去，这种模式的系统也无法拥有强悍的稳定性。因此在近些年出现了微服务的概念，所谓微服务的概念就是说，将一个系统的业务逻辑拆分成很多个模块，微服务架构相比于传统系统开发架构有着粒度小,仅专注于做一件事情，运行于分布式进程，轻量级的通信协议，松耦合、独立和多版本部署，多实例部署，提供更好的扩展能力等特点。比如企业的大数据平台建设，可以将前期企业必要数据的获取，从企业需求的不同维度进行分析，为企业的用户及员工提供易于理解且直观的数据可视化数据报表展示平台等一些功能，分别拆分出来，各自使用一套独立的代码进行开发。 3 IT架构在大数据时代中的应用研究 3.1分布式架构在大数据时代的应用 大数据时代的中心数据库数据庞大，数据的查询会变得困难，查询速度会变慢，特别当多线程共同对同一个服务器进行数据查询时候，数据库中心负载太大，可能会造成数据处理效率变低。因此，现在采用分布式存储技术来分割大量数据，将不同的数据模块存储在不同的数据存储服务器上，并使用不同的网络接口来实现它们之间的数据同步，然后再将数据结果汇总返回到本地，可以加快存储查询，处理的速度，提高系统运行效率。 同时，随着企业的业务数据的不断增加，在这种大数据时代，企业如果需要在极短的时间内，根据企业的业务需要能够对这种业务数据进行不同维度的分析，如果仅仅使用传统的数据分析模式中，使用单台服务器进行数据的计算和分析，是无法在要求的时间内计算出准确的结果的。这种大数据时代的企业业务数据分析与计算，必须依靠分布式架构技术，来将企业实时发送的业务数据，通过分布式架构的特点，将一个大的业务数据，根据预先依据业务逻辑开发好的算法，将这个大的任务进行分解成多个小的计算任务，然后分配到分布式架构中网状结构的不同节点去进行计算，最后将计算结果进行统一收集，然后交给大数据中台的前端数据展示平台去进行数据的可视化呈