高性能实时数据分析平台在航空公司收益提升中的应用.docVIP

高性能实时数据分析平台在航空公司收益提升中的应用 　　【摘 要】航空公司在销售和服务领域使用的旅客服务系统（PSS：Passenger Service System）是一个OLTP系统，不适合进行在线分析处理（OLAP）。在线分析处理功能的缺乏限制了航空公司的快速分析能力和响应速度。通过解决这个问题，不仅可以提高航空公司的分析能力，还可以提高服务质量和速度，提高航空公司的资源利用率，以及提高旅客服务满意度，这将对航空公司的综合收益产生重大影响，是目前各大航空公司的发展重点。本文探索以面向对象数据模型以及NoSQL技术，解决实时的在线数据分析所面对的大容量、高性能、复杂业务/数据类型挑战，介绍了目前已经实现的高性能实时数据平台原型，及其在航空公司的收益辅助领域中的应用。最后，本文还探讨了实时数据分析平台的发展方向和在民航业其他领域中的可能应用。 　　【关键词】航空公司；收益辅助；实时数据分析；ODBMS，NoSQL 　　一、前言 　　航空公司在销售和服务方面使用的IT系统被称为“旅客服务系统”，Passenger Service System，简称PSS。PSS是一个实时交易处理系统，也就是OLTP系统。实时交易处理系统的核心是交易。从技术角度看，交易是数据处理的最小单位。交易只有成功和失败两种状态，能够保证数据的一致性。从行业角度看，交易是最小的业务单位，在民航业普遍存在于诸如座位可利用状态查询、预订、支付、出票、值机等业务中。实时交易处理系统的优势在于高效、快速以及安全的数据操作，同时具有很高的稳定性。旅客服务系统经常需要为这种要求付出大量的出额外成本支出。 　　随着民航市场竞争日益激烈、民航业务日趋复杂，航空公司旅客服务系统在提供高性能交易处理的同时，还需要对历史数据进行分析和挖掘，为航空公司业务人员提供决策支持的能力，甚至通过业务规则引擎自动完成决策，实现商业智能化。这就要求旅客服务系统在提供OLTP功能的同时，还要支持 　　OLAP。但是在系统设计理念上两者并不完全相同，前者偏重于交易处理、保证数据写的高效和安全性、一致性；后者则偏重于强大的计算能力，需要高效的数据I/O能力和数据计算性能。通常鉴于系统效率、软硬件成本考虑，不会将这两类应用放在同一个系统中。交易处理系统和决策支持系统是分离的（见图1）；后者从交易系统批量下载数据快照，经过挖掘、分析后形成业务规则，批量上传到交易系统。 　　国内航空市场是一个激烈竞争的市场，航空公司不仅需要线下的决策支持能力，还要求实时的决策支持能力。本文的目标是给出一个满足航空公司实时决策支持的在线数据分析平台，帮助航空公司在瞬息万变的市场上抢得先机。此时业务模型见图2，实时数据平台处于交易处理系统和数据仓库之间，为航空公司业务人员提供只读的实时数据分析和统计汇总能力。 　　二、实时数据平台需要解决的主要问题 　　（1）实时数据同步：交易处理系统负责数据写的安全性和一致性，高峰时间整个系统的处理量达到3000TPS（Transaction Per Second，每航空公司）。为实现实时数据分析，需要将这些数据从主系统中推送到实时数据平台中。（2）高性能数据转换：实时数据平台不仅要处理高峰时间每秒3000次的入库请求，每次入库都需要将OLTP的数据模型转换为结构化数据模型并入库，同时要处理大规模、高并发的全库查询请求。（3）结构化复杂数据支持：实时数据平台需处理的数据经过高度抽象后主要分为三类，即航班控制系统中的航班对象、订座系统中的订单对象以及支付后形成的电子票对象/结算对象。这三类数据对象每一类都非常复杂，一个简化的订单对象结构见图3，通常这三类对象层级都可以达到8～10级。在本文场景中，我们通过引入新的技术，已经能够比较好的解决该问题。通过OLTP系统的底层I/O模块推送数据，数据接收者的延迟可以控制在20ms～200ms之间，基本满足目标需求。同时，通过利用下一代的对象数据库，可以高效实现高性能的数据转换以及复杂数据结构的高性能数据处理。 　　三、旅客服务系统面临困难的具体分析 　　数据规模、数据结构在类似旅客服务系统这样的信息服务系统中可能会非常庞大。我们以两种主要数据样本，描述整体的数据规模情况。 　　数据1，航班：国内某大型航空集团每天航班量约3000个，可预售航班2年左右（710天），因而需要存储的航班对象约213万；依据航班容量不同，每个航班对象可能由数百或上千个航节、航段、舱位、座位、Bid Price对象构成。因而仅航班类数据，就需要存储21.3亿个对象。数据2：订单，对于订单数据，如该航空集团每年承运7000～8000万航段，以平均2个航段/订单计算，系统中有约4000万订单对象，每个订单对象由旅客身份、航段、附加服务、代理信息、价格、机票