智驾数据闭环湖仓实战：采集数据的合规入湖链路OSS合规上传通道.docxVIP

智驾数据闭环湖仓实战：采集数据的合规入湖链路

OSS?合规上传通道

采集大文件的五步合规入湖链路：数据可用与合规红线同时满足

三通道入湖架构里，CDC?同步业务库、Kafka消费事件流，这两条通道前面都讲过了。但体量最大、敏感度最高的一类数据始终没有出场——采集数据：相机图像、激光雷达点云、IMU?/GNSS传感器数据。它们是智驾模型训练的原料，一个采集项目动辄数十TB；同时，图像里有行人的人脸、车辆的车牌、道路旁的敏感设施——合规红线一步都不能踩。

这类数据既不可能塞进MySQL走CDC，也不可能逐帧灌Kafka，必须走独立的?OSS合规上传通道：文件本体经三段合规链路上传至智驾云OSS（大文件外置），文件元信息合规校验通过后经Kafka实时写入湖仓。

本文作为系列二?数据闭环湖仓实战?收官篇，完整拆解这条通道的五步合规链路、双脱敏机制、合规云架构约束与「文件外置+元信息入湖」的设计原则。

一、第三条通道：为什么大文件走不了CDC和Kafka

先看三通道的分工。每条通道承接的数据形态完全不同：

通道

承接数据

入湖方式

FlinkCDC

各平台MySQL业务库（产线/标注/训练等）

读binlog实时同步

Kafka

事件流（产线埋点/训练指标/车端触发）

Flink实时消费

OSS合规上传

采集大文件（图像