大数据的质量监控和保障.pdfVIP

大数据的质量监控和保障 2014-03-08 ⼤数据时代 •  数据模型算法如何测试？ •  系统重构，系统升级，系统迁移如何保证 系统是正确的？ •  数据系统如何监控？ 数据测试，路在何方？ ⼤数据分布式系统介绍 数据存储系 数据可视化 统 展现 数据采集/ 分布式实时 离线数据处 其它数据接 输入 计算 理 入系统 数据处理系统的质量保障 •  数据标准集 –  定义：经过数据清洗的，进行过验证的，可以增量 添加的，具有一定代表性的原始数据样本集。 –  样本集的大小：100？10,000？1,000,000？ 100,000,000? –  验证点：数据记录数比对，字段值比对 –  产