浅谈“HTAP”前世今生.docxVIP

浅谈“HTAP”前世今生 1).OLTP ? 联机事务处理OLTP （On-Line Transaction Processing） OLTP是大事驱动、面对应用的，也称为面对买卖的处理过程。其基本特征是前台接收的用户数据可以马上传送到计算中心进行处理，并在很短的时间内给出处理结果，是对用户操作的快速响应。例如银行类、电子商务类的买卖系统就是典型的OLTP系统。其具备以下特点： 直接面对应用，数据在系统中产生。 基于买卖的处理系统。 每次买卖牵涉的数据量很小；对响应时间要求格外高。 用户数量格外浩大，其用户是操作人员，并发度很高。 数据库的各种操作次要基于索引进行。 以SQL作为交互载体。 总体数据量相对较小。 2).OLAP ? 联机实时分析OLAP （On-Line Analytical Processing） OLAP是面对数据分析的，也称为面对信息分析处理过程。它使分析人员能够快速、全都、交互地从各个方面观看信息，以达到深化理解数据的目的。其特征是应对海量数据，支持简单的分析操作，侧重决策支持，并且供应直观易懂的查询结果。例如数据仓库是其典型的OLAP系统。其具备以下特点： 本身不产生数据，其基础数据来源于生产系统中的操作数据 基于查询的分析系统；简单查询经常使用多表联合、全表扫描等，牵涉的数量往往格外浩大 每次查询设计的数据量很大，响应时间与具体查询有很大关系 用户数量相对较小，其用户次要是业务人员与管理人员 由于业务问题不固定，数据库的各种操作不能完全基于索引进行 以SQL为次要载体，也支持言语类交互 总体数据量相对较大 3).OTHER 除了传统的OLTP、OLAP类，近些年来针对数据的使用又有些新特点，我将其归入了“其他”类。 多模 随着业务“互联网化”和“智能化”的进展以及架构 “微服务”和“云化”的进展，应用系统对数据的存储管理提出了新的标准和要求，数据的多样性成为突出的问题。晚期数据库次要面对结构化数据的处理场景。后面随着业务的进展，渐渐产生了对非结构化数据的处理需求。包括结构化数据、半结构化(JSON、XML等)数据、文本数据、地理空间数据、图数据、音视频数据等。多模，正是指单一数据库支持多品种型数据的存储与处理。 流式 流式处理(实时计算)，是来源于对数据加工时效性的需求。数据的业务价值随着时间的流失而快速降低，因而在数据发生后必需尽快对其进行计算和处理。传统基于周期类的处理方式，明显无法满足需求。随着移动互联网、物联网和传感器的进展导致大量的流式数据产生。相应地消灭了专有的流式数据处理平台，如Storm、Kafka等。近些年来，很多数据库开头支持流式数据处理，例如MemSQL、PipelineDB。有些专有流式数据处理平台开头供应SQL接口，例如KSQL基于Kafka供应了流式SQL处理引擎。 高阶 随着对数据使用的深化，数据的使用不再仅仅以简约的增删改查或分组聚合类操作，而对于其更为高阶的使用也逐渐引起大家的注重。例如使用机器学习、统计分析和模式识别等算法，对数据进行分析等。 对比 — OLAP vs OLTP 2. 数据处理模式 面对上述简单多变的应用场景，数据应用的多品种别，是由单一平台处理，还是由不同平台来处理呢？一般来说，专有系统的功能将比通用系统功能高一到两个数量级，因而不同的业务应接受不同的系统。但正如古人说“天下大势、分久必合、合久必分”，在数据处理领域也有一种趋势，由单一平台来处理。这里选择的核心在于如何来辩证看待需求和技术。它们是一对冲突体，当这对冲突缓和时，数据处理领域将更趋向于整合；而当这对冲突尖锐时，数据处理领域将趋于分散。就软硬件技术进呈现状和当前需求来看，将来整合的趋势更为明显。集成数据平台将能满足绝大多数用户的场景，只要极少数企业需要使用专有系统来实现其特殊的需求。 1).分散式（专有平台） 目前比较常规的方式，是接受多个专有平台，来针对不同场景进行数据处理。因而是跨平台的，因而是有个数据传输的过程。这之中会带来两个问题：数据同步、数据冗余。数据同步的核心是数据时效性问题，过期的数据往往会丢失价值。常见的做法如下: OLTP系统中的数据变化，通过日志的方式暴显露来；通过消息队列解耦传输；后端的ETL消费拉取，将数据同步到OLAP中。整个链条较长，对于时效性要求较高的场景是个考验。此外，数据在链条中流淌，是存在多份的数据冗余保存。在常规的高可用环境下，数据会进一步保存多份。因而这里面隐蔽了比较大的技术、人力成本以及数据同步成本。而且横跨如此之多的技术栈、数据库产品，每个技术栈背后又需要单独的团队支持和维护，如DBA、大数据、基础架构等。这些都包含着巨大的人力、技术、时间、运维成本。正是出于在满足各种业务需求的同时，提高时效性，减低数据冗余、缩短链条等，收敛技术栈就变得很