AI时代的湖仓数据体系建设——刘岩.docx

AI时代的

湖仓数据体系建设

刘岩

腾讯游戏数据技术负责人

腾讯游戏数据工程的挑战基于多智能体的需求构造

AI驱动的湖仓资产体系

可持续优化的工程平台系统演示

腾讯游戏数据工程

01的挑战

游戏业务发展数据平台演进

游戏业务发展数据平台演进

腾讯游戏以休闲品类进入市场2003~2007

外部大厂纷纷投身网游，腾讯游戏基于绕道休闲品

外部大厂纷纷投身网游，腾讯游戏基于绕道休闲品类打造QQ系列游戏，深耕社交流量

游戏发展初期，缺乏统一标准，游戏数据孤岛。

数据应用

数据应用

数据单位主要是G，数据分散在各个数据库，缺乏整体数据统计

从零起步

一切从简，快速

启动，MySQL读

写分离、分库分

表

数据治理

每年在游戏数量上翻翻，对接不同业务的游戏日志，标准难以统

1.0基础功能完善阶段

一

2008～20142015Now以“代理+自研”后来居上

2008～20142015Now

打造全品类矩阵，扶持游戏厂商，建立全球

打造全品类矩阵，扶持游戏厂商，建立全球

化发行平台，全面出海，推动电竞职业化、游戏IP化等

重启游戏代理，同步自主研发

率先完成“端改手”移动化，全面升级自研体系

业务持续扩张，数据驱动成为新的价值增长。以数据驱动业务变革，安全合规与成本治理。

2.0

2.0平台构建阶段

数据应用

日志标准迭代推进，移动互联网数字化，精准分析，用户画像、买量与增长分析

数据治理

数据治理处于萌

芽阶段，数据资

产意识建立，数

据管理规范1.0

发布

架构升级

迁移到TDW数据

仓库，完成数据

的集中管理与统

一分析

3.0技术驱动创新

对于数据资产集中管理的进一步加强，河图数据治理平台全面升级

标准数据治理体系建设：以业务应用为导向，数据管理规范3.0发布

逐步开始接入实时技术：datamore投入应用，决策对于数据时效性提出较高要求

1.2游戏业务对数据的需求

现存游戏业务的数据挖掘/提取类需求数万个/年，数据挖掘是问题归因、分析决策、干预闭环的关键。

业务对数据需求

业务对数据需求

数据资产数据加工

数据资产

数据加工链路

数据产品和服务

经营分析（可

经营分析（可视化）

1%的数据表资产

离线计算+数仓

数百个看板（框架+

数百个看板（框架+特性）

精

精细化运营（数据挖掘）

数万个/年数据提取服务

基于明细数据动态分层

流式计算+湖仓一体

特征和画像标签湖仓一体

特征和画像标签

湖仓一体

数十个算法服务

辅助决策（预测）

辅助决策（预测）

数十个实时线上服务特征和画像标签流式计算+

数十个实时线上服务

特征和画像标签

流式计算+实时计算

驱动业务（干预）

1.3如何更好地服务业务？

确定数据分层对齐业务统计逻辑AI要解决的问题不是仅仅是写SQL，而是从业务需求到数据结果的各个环节，需要建立AI环境下的工程平台和资产体系。

确定数据分层

对齐业务统计逻辑

结果和想法验证

数据结果及提取逻辑

数据结果及提取逻辑

厂口径对齐结果发送提交任务资产探查提交正式数据任务、找到

厂

口径对齐

结果发送

提交任务

资产探查

提交正式数据任务

、

找到细粒度的数据表

业务需求数据结果

持续运营

1

需求理解

使用LLM进行提效

资产体系

2

计算加速

4

3

SQL代码实现SQL验证

验证SQL

验证SQL准确性

与业务二次对齐逻辑

基于多智能体的

02需求构造

2.1提示词（需求）的完备度与结果准确性

“好”提示词的特点：

“好”提示词的特点：

完整的上下文解释

隐性知识

行业know-how

恰当的示例

逐步思考

明确的预期结果

《ThePromptReport:ASystematicSurveyofPromptingTechniques》/abs/2406.06608

2.2基于“需求标准”的人与AI需求对齐

需求标准一个