哪吒科技：SelectDB实时数仓在智慧港口中的应用实践.docx

哪吒科技:SelectDB实时数仓在智慧港口中的应用实践

邓宇超

哪吒科技数据平台负责人

目录01哪吒科技数仓发展历程

目录

02实时数仓技术选型与架构

03实时数仓在智慧港口的实战应用

04收益与展望

01

哪吒科技数仓发展历程

1.1哪吒科技业务介绍-市场能力

2022新增客户

2022新增客户33家

盘锦

营口

唐山

大连天津2023新增客户50

大连

天津

2023新增客户50家

太仓连云港

太仓

连云港

张家港江阴蚌埠

张家港江阴

蚌埠合肥

南通

苏州马鞍山扬州

苏州

马鞍山

上海嘉兴仙桃武汉芜湖荆州铜陵

上海

嘉兴

仙桃

武汉

芜湖

荆州

铜陵

杭州宁波

杭州

安吉岳阳九江

安吉

宜宾

宜宾

长沙厦门

长沙

广州黄埔珠海贵港图例说明原有客户新增客户汕头深圳

广州黄埔珠海

贵港

图例说明原有客户

新增客户

防城钦州

北海

海口

9000万TEU

2023年哪吒

2023年哪吒TOS产品支撑国内箱量

30%

2023年占国内集装箱量市场份额

2023年占国内集装箱量市场份额

国内外市场地图

1.2哪吒科技业务介绍-产品服务

1.3哪吒科技数仓发展历程

第二阶段第三阶段第一阶段

第二阶段

第三阶段

第一阶段

业务场景：港口运营数据枢纽数仓能力：单业务单场景数据整合

业务场景：港口运营数据枢纽

数仓能力：单业务单场景数据整合与决策赋能

挑战：数据融合性、实时性

业务场景：智慧港口全生命周期与全解决方案（SMART系列）

数仓能力：SelectDB统一实时数仓

挑战：复杂场景、查询效率

数仓能力：混合架构下数据整合与分析赋能

挑战：开发效率、维护成本、实时性

1.4哪吒科技数仓架构演变（V1.0）

1.5哪吒科技数仓架构演变（V2.0）

1.6哪吒数仓应用场景面临的挑战

应用场景

RTG效率分析（堆场机械效率分析）

某码头交接班分析

集疏运数字孪生

时效性要求

离线跑批（H+1）

离线跑批（H+1）

实时性要求高，数据产生到落地在1s内

数据特点

数据维度复杂，下钻层次多

数据维度比较单一，数据量少

上海港8大码头数据量大，单

表数据量10亿以上，表字段多

（100+）

面临的问题

存在异常数据，数据不准，任务资源占用高

数据量不大的情况下，单个任务资源占用高

实时任务性能瓶颈问题，时效性无法满足

02

实时数仓技术选型与架构

2.1哪吒实时数仓选型因素

关键指标

数据导入

查询性能

弹性架构

开放生态

安全合规

自主可控、安全可靠

SelectDB

秒级数据导入，支持多种数据导入方式（StreamLoad、BockerLoad、RoutineLoad），毫秒级轻量化表模式修改

支持高并发点查、大宽表查询、多表Join复杂查询、数据湖查询，查询优化（向量化、物化视图、CBO优化器、丰富的索引）

支持计算隔离，分层存储，存算分离三种模式，实现高效灵活的资源管理

基于ApacheDoris构建，100%与其兼容，兼容MySQL生态

深度契合等保要求的各项指标，并严格遵循ISO标准的规范框架

融合信创技术，构建多重安全防线，以高可靠性能，为数据构建安全防线

2.2哪吒科技实时数仓架构

0*640

0*640

2.4SelectDB在实时场景中的应用

实时数仓建模：

1.ODS:通过FlinkCDC实时采集数据源的数据，落地到SelectDB实时数仓，为后续数据分析提供原始数据。

2.DWD:基于清洗后的明细数据，做数据归一化处理，方便上游业务。

3.DWS：基于聚合模型，对指标预聚合，供业务使用。

业务应用：

通过数据服务平台，提供查询API接口，赋能给上层业务使用。

2.5SelectDB在日志收集分析中的运用-架构及效果

整体架构

2.6SelectDB案例-日志检索分析-建表示例

CREATETABLEXXX_LOGS

(

tsDATETIME,pathTEXT,

messageTEXT,

hostnameVARCHAR(30),ipARRAYVARCHAR(20),

INDEXidx_path(path)USINGINVERTED,

INDEXidx_host(hostname)USINGINVERTED,

INDEX