高教社2025金融监管科技教学课件第五章 云计算技术.pptxVIP

第五章云计算技术

Outline云计算技术概述云计算的关键技术云计算技术与金融监管2

云计算技术概述01

1.1云计算技术的概念云计算是一种按需提供计算资源（服务器、存储、数据库、网络、软件等）的服务模式，用户通过互联网灵活访问，并按实际使用量付费。按需服务弹性伸缩成本优化用户可根据需求灵活获取计算资源，无需大量前期投资按量付费模式，有效降低IT基础设施成本资源可快速部署和调整，适应业务变化需求优点：为金融监管带来的价值灵活性可靠性低成本4

1.2云计算技术的发展历史1961JohnMcCarthy提出云计算构想1998VMware成立虚拟化技术突破2005亚马逊推出商业化云服务2006Google推广云计算概念今天5G时代数字基础设施云计算的崛起是数十年计算、存储和网络技术不断积累的必然结果，如今已成为数字时代不可或缺的基础设施。2007IBM明确定义云计算5

1.3云计算技术在中国金融监管领域的应用历史2015国务院发布《关于促进云计算创新发展培育信息产业新业态的意见》明确支持金融行业在云计算应用模式下健康发展2017中国人民银行发布《金融业信息技术十三五发展规划》提出稳步推进金融业云计算技术应用研究，制定相关标准2018云计算技术金融应用规范正式发布包含技术架构、安全技术要求和容灾三项金融行业标准政策引导为金融行业云计算应用提供了坚实的制度保障金融云计算政策演进6

1.3云计算技术在中国金融监管领域的应用历史2000年初，金融机构开始探索虚拟化技术，旨在提升数据中心的运作效率和灵活性单个物理服务器运行多个虚拟机，各虚拟机独立运行不同操作系统和应用程序。显著提升服务器利用率降低能源消耗简化IT基础设施管理提升数据中心运作效率和灵活性虚拟化技术的成熟为云计算的发展奠定了坚实基础公有云：按需付费模式，降低初始投资成本，支持非核心业务发展私有云：处理敏感数据，满足金融监管合规要求混合云：结合两者优势，提供全面灵活的解决方案通过互联网访问远程数据中心资源根据业务需求快速调整IT资源规模实现成本效益与运营效率最大化技术演进：从虚拟化到云计算7

1.3云计算技术在中国金融监管领域的应用历史云原生技术兴起与国内金融行业探索容器化与微服务架构普及，提升金融服务敏捷性服务以更小、更灵活的组件运行Kubernetes等容器编排工具推动行业广泛应用加快新服务部署速度，增强市场响应能力四大银行数据大集中工作民生银行大数据平台建设大连银行云服务五年计划国内典型实践案例云计算与大数据技术已成为推动金融服务创新、提升效率、降低成本、增强数据安全的重要力量技术演进：从虚拟化到云计算8

云计算的关键技术02

从MapReduce到Flink的技术演进2.1分布式计算框架原理将复杂、需要巨大计算力的问题分解为多个小子问题子问题分配给多台独立计算机并行处理汇总各计算机结果，得出最终答案批处理，Map/Reduce两阶段MapReduceTezSparkFlink支持DAG，流程更灵活内存计算，支持流处理批流一体，低延迟高可靠解决单机无法承载的庞大计算挑战10

第一代·MapReduce2.1分布式计算框架Map阶段：将输入数据分片，并发处理Reduce阶段：对中间结果合并、排序，输出最终结果优点：支持多语言（Java、Python、C++）可用廉价商用服务器构建用于大规模数据集（特别是非结构化数据）的并行处理任务分解为两个主要步骤：Map和Reduce局限：中间结果必须写磁盘，IO开销大不支持实时计算、流处理、有向无环图（DAG）11

MapReduce运行架构2.1分布式计算框架AM：负责所有MR任务的提交、启动和监控。Schedule：将系统资源分配给MR任务ResourceManager：调度节点MRAppMaster：负责一个MR任务的调度和协调；MapTask：在一个数据分片上执行Map任务；ReduceTask：执行Reduce任务。NodeManager：执行节点12

MapReduce的任务运行2.1分布式计算框架步骤1：将输入数据按key值分割为多个分片。步骤2：对每个分片执行map方法，处理数据，并输出结果。Map阶段步骤1：将map输出结果按key值分区。步骤2：对分区数据按key值排序。步骤3：对数据分组，相同key值的数据放入一个集合中。Shuffle阶段步骤1：将Shuffle的结果执行reduce方法。步骤2：reduce的结果写入外部存储。Reduce阶段13

第二代·Tez2.1分布式计算框架局限：未引入内存计算，性能提升有限缺乏流计算、图计算、机器学习支持应用场景有限，未广泛普及优点：支持DAG，可定义复杂数据处理流程允许多个