原创力文档- 1、本文档共36页，可阅读全部内容。
- 2、原创力文档（book118）网站文档一经付费（服务费），不意味着购买了该文档的版权，仅供个人/单位学习、研究之用，不得用于商业用途，未经授权，严禁复制、发行、汇编、翻译或者网络传播等，侵权必究。
- 3、本站所有内容均由合作方或网友上传，本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺！文档内容仅供研究参考，付费前请自行鉴别。如您付费，意味着您自己接受本站规则且自行承担风险，本站不退款、不进行额外附加服务；查看《如何避免下载的几个坑》。如果您已付费下载过本站文档，您可以点击 这里二次下载。
- 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等，请点击“版权申诉”（推荐），也可以打举报电话：400-050-0827(电话支持时间：9:00-18:30)。
查看更多
大数据质量保障体系探索
张旭东｜快手
01商业化数据业务介绍
目数据质量保障-测试基建
C
02
O
N
T
E数据质量保障-测试执行
N
03
录T
S
04数据质量保障-稳定性保障
05数据质量保障-总结展望
商业化数据业务介绍
商业化数据服务于整个广告生态，基于业务过程抽象出数据内容，将
数据内容赋能于业务的精细化运营、诊断、广告的投放、出价策略、管
理决策等等
商业化数据业务介绍|挑战
数据上报QPS单日报表记录数小时级数据增量天级数据增量
百万级亿级TB级PB级
数据量级大数据加工链路长
数据质量保障|测试思路
保障数据的及时性
保障数据可测性与链路稳定性
测试测
数据测数据稳
试执行
试基建定保障
保障数据的完整性、
准确性、一致性
数据质量保障|测试基建-环境管理
p问题与挑战
010203
任务链路长任务节点多环境问题排查难
链路涉及大数据存储、实时
从数据源-数据产品将近
全链路涉及百+任务/表加工、缓存、在线报表等多
10个数据加工层
个组建/数据产品，问题排
查难度大
数据质量保障|测试基建-环境管理
p解决思路
核心点:线上线下数据隔离、资源的快速申请、无流量环境快速释放
分钟级别全套环境搭建、一键检测环境通路、测试间无环境干扰（研发自测、测试、自动化、压测）
数据质量保障|测试基建-环境管理
p数据隔离
通过特定租户做数据隔离，保障数据平
文档评论（0）