实时关键业务场景快速增长，我们需要什么样的数据平台来支持？.docx

引言

经过多年的数据基础设施建设,企业已经完成从有数到用数的过渡,数据驱动成为常态。进一步,面对激烈的市场竞争和快速变化的客户需求,如何提高用数效率,以实时或准实时的数据处理速度进行决策、开展服务以及优化运营,正成为企业获取竞争优势的关键,催生实时数据业务场景快速增长。

面对日益增长的实时数据业务场景,传统的实时数据集成解决方案如点到点实时同步、ESB企业总线、kafka消息队列等均存在各种局限性,促使新一代实时数据集成解决方案应运而生。

本文将重点阐述实时数据业务场景的定义、增长驱动因素,并通过多种实时数据集成解决方案的对比,阐释新一代实时数据集成解决方案为什么代表着未来发展趋势。

01实时数据业务场景的定义

实时数据业务场景指企业在经营过程中,对新数据进行实时传输、处理、分析、查询和响应的业务场景,支持实时决策和实时操作。其中实时指的是从数据产生端到消费端跨系统传输或处理过程实现毫秒或秒级延迟。

图1:实时数据业务场景分类示意图

按照消费端的数据处理模式,实时数据业务场景包含TP场景下的实时交互型业务场景和AP场景下的实时运营分析场景。

TP场景下的实时交互型业务场景

实时交互型业务场景指消费端的应用程序需要跨系统实时查询生产端系统信息的场景,如统一订单中心、实时风控、CDP平台等。这些场景是企业的关键任务,对于保障企业正常经营有决定性影响,一旦出现延迟或数据错误将导致严重的经营事故,因此对数据时效性和数据准确性要求极高。

需要强调的是,与传统基于oracle数据库实现的TP场景不同,实时交互型业务场景往往涉及异构的数据源,需要解决源系统和目标系统之间跨系统的数据一致性,数据传输处理和集成等问题。而传统的OLTP场景虽然也强调实时响应,但在单一oracle数据库中实现数据集

成、完成业务的事务性操作以及保障数据一致性,其技术实现的路径和复杂度与实时交互型业务场景截然不同。

AP场景下的实时运营分析场景

实时运营分析场景需指融合业务最新数据和历史数据进行实时复杂分析的场景,如实时BIl、

实时数据分析、实时决策等,在客户体验改善、生产效率提升、个性化产品和服务推荐等方面发挥着重要作用。

表1:实时相关概念对比

02内外部环境因素驱动实时数据业务场景快速增加

历史It建设遗留的数据孤岛使跨系统数据集成成为数据利用常态,面向未来竞争的数据能力建设需求驱动跨系统的实时数据业务场景快速增加。

2.1历史It建设形成数据孤岛,数据集成成企业用数必要步骤

企业在历史的It建设过程中,为满足各业务管理需求,搭建起诸如CRMERP、财务、人

力、供应链等多种系统。由于建设的时期较早,这些系统多为应用程序和数据库紧密耦合的单体式架构,系统相互之间各自独立、无法联通,形成企业数据孤岛。据不完全统计,大型企业的业务系统平均数量为315套,中小型企业的业务系统数量为52套。数据孤岛使得跨系统的数据消费成为常态,数据集成成为企业用数首先要解决的问题。

2.2市场变化、经营效率、客户体验共同催生广泛的TP和AP实时场景

外部市场和客户变化,以及内部企业对经营效率、客户体验的提升诉求,共同驱动企业实时数据业务场景快速增加。

一方面,企业业务模式创新以及运营秩序的维系驱动实时交互型业务场景快速增加。如高速发展中的企业往往通过创新业务形态增加营收。企业在拓展新业务形态时必然带来跨系统的交互型事务操作场景。某知识付费平台在核心课程基础上增加读书、听书等新业态,由于用户的会员界面中需要实时呈现课程、读书、听书等业态权益,该平台需要为新业态开发实时交互数据应用。

对于存量竞争下开展精益管理的企业,整合企业多系统内的商品、客户、库存等核心信息,持续开发交互式业务应用,对于维持业务正常运转非常重要。如对于多品牌大型零售企业,统一库存查询能实时展示商品数量,满足企业内外部用户即时商品查询需求,保障一线员工正常开展销售和服务活动,避免因商品信息错误丢失商机。

另一方面,对整体运营效率的持续提升和客户体验的持续改善推动企业实时运营分析场景快速增加。

以金融行业信用卡交易的反欺诈场景为例,在信用卡发生交易的第一时间,银行会融合近期的交易时间、地理位置、交易金额等多维信息,实时监控交易行为,一旦识别出异常模式立即触发警报,在秒级内中止交易,保证交易安全性。又如制