指标-腾讯-韩钰-00-数据采集治理之质量篇.pdfVIP

数据采集治理之质量篇：从合规到合理

演讲⼈：韩钰腾讯PCG⼤数据平台部

DataFunCon#2023

引⼦

•什么是数据采集？——将真实的客观世界数字化并记录下来

•互联⽹时代：⽤户⾏为采集、后台接⼝⽇志、数据库同步。

•⼴义数据采集

•数据采集的深⼴准决定了指标应⽤的上限——数据指标的治理需要从采集源头开始

•等到指标应⽤的时候才发现数据问题，是⼀件很扫兴的事，定位和修复花费的时间也更⻓。

•通常50%～80%的数据质量问题发⽣在采集阶段。

•数据采集当前⾯临的最⼤挑战就是质量和效率，本篇主要讲讲质量。

•提出⼀个新观念：将数据质量认知从合规提升到合理。

•介绍⼀套新⼯具：质量审查+智能判定+⾃助诊断。

•简单解析⽤到的⼀些关键技术。

•假设你是⼀位数据科学家，你需要使⽤⼀个

⼀个Case终端⾏为⽇志的公参login_type（登录类

型），除了参数的中英⽂名外，你对它⼀⽆

看清