数据质量管理(优秀文档PPT).pptVIP

数据质量管理;;目标一：安全 访问安全 存储安全 目标二：正确 数据精确 数据正确 目标三：效率 常规加载的效率 非常规加载的效率;;;数据本身的数据质量 数据的真实性： 数据必须真实准确的反映实际发生的业务。 数据的完备性： 数据的完备性是说数据是充分的，任何有关操作的数据都没有被遗漏。 数据的自治性 数据并不是孤立存在的，数据之间往往存在着各种各样的约束，这种约束描述了数据的关联关系。数据必须能够满足这种数据之间的关联关系，而不能够相互矛盾。;数据的过程质量 数据的使用质量： 数据的使用质量是指数据被正确的使用。再正确的数据，如果被错误的使用，就不可能得出正确的结论。 数据的存贮质量： 指数据被安全的存贮在适当的介质上。所谓安全是指采用了适当的方案和技术来抵制外来的因素，使数据免受破坏，备份是我们常使用的技术，如异地备份和双机备份等，所谓存贮在适当的介质上是指当需要数据的时候能及时方便的取出。 数据的传输质量： 数据的传输质量是指数据在传输过程中的效率和正确性。在现代信息社会中，数据在异地之间的传输越来越多，保证传输过程中的高效率和正确性非常重要。;关系建设系统成败 很多数据仓库应用程度不高或最后失败，归根结底都是数据质量不高造成的。 数据质量好坏关系到结果与预期是否一致 低下的数据质量往往造成开发出来的系统与用户的预期大相径庭 数据质量是决策正确的保障 数据信息是企业重要的战略资源，合理有效的使用正确的数据能指导企业领导作出正确的决策，提高企业的竞争力。不合理的使用不正确的数据（即差的数据质量）可导致决策的失败，正可谓差之毫厘、谬以千里。 数据质量是长期困扰开发的难题 数据质量不高已经成为困扰此类项目的开发人员与用户的一个严重问题。;数据质量不高的主要原因;数据质量归类;数据质量示例;数据质量管理方法;;步骤二确定数据源的时效性检验规则 数据质量管理的难点与重点 √规则六：本表的字段与其他表中的字段的业务含义、统计口径相同。 满足此条件时必须进行???辑性检验。 数据校验是对DDS数据库中前台应用直接使用的相关表的检验。 sell(系统外总销量)、 Out_Sell_Retail_Amount (系统外零售 量)、Out_Sell_Amount (系统外批发销量 ) End_Store_Amount (期 末库存 )、ratio_stock_sell(存销比)。 数据校验的完整性检验报异常时应停止ETL加载过程，不需要再进行后续的检验 数据并不是孤立存在的，数据之间往往存在着各种各样的约束，这种约束描述了数据的关联关系。 T_FT_JJYX_JYSCFLXLQK_JL表包含有字段SCLXMC、 BY_JL1、BY_JL2、BY_JL3、BY_JL4、BY_JL5 不需要再进行后续的检验 EIIRECV_TZ_BS_Y_Q_M_SELLDETAIL的数据到达规律，定义该表每月最晚到达日期为8日。 APP_JJYX. 对不同数据源加工得到的多个表内字段间逻辑关系的检查。 1、APP_JJYX. EIIRECV_TZ_BS_Y_Q_M_BASIC中对应的商业企业的数据。;数据源检验方法;数据源检验方法;数据源检验适用的规则;数据检验方法;数据检验方法;数据检验适用的规则;T_FT_JJYX_JYSCFLXLQK_JL表不包含有字段与其他表字段具有不同的业务含义、相同的统计口径，在业务上有逻辑公式关系； 1、APP_JJYX. √规则十一：本表的字段与其他表中的字段具有不同的业务含义，相同的统计口径，在业务上有逻辑公式成立，且两张表的数据不是经同一数据源加工得到。 步骤十 确定数据的逻辑性检验规则 √规则十一：本表的字段与其他表中的字段具有不同的业务含义，相同的统计口径，在业务上有逻辑公式成立，且两张表的数据不是经同一数据源加工得到。 2、其中字段BY_SYXL、BY_HCY、LJ_SYXL、LJ_HCY的数据根据业务经验确定，数据审核规范如下：市场类型为全国的对应以上字段数据同比的合理区间在0～10%； 步骤三 确定数据源的完整性检验规则 根据数据源检验适用规则的规则二、三： 模糊性检验、逻辑性检验。 6、这两张表具有相同业务含义，不同的统计口径，存在汇总关系： 1、APP_JJYX. 根据数据源检验适用规则的规则二、三： DDS事实表记录数检查 再正确的数据，如果被错误的使用，就不可能得出正确的结论。 指数据被安全的存贮在适当的介质上。;数据质量检验的顺序;;数据质量检验的案例;步骤一确定相关的表;步骤二确定数据源的时效性检验规则;步骤三 确定数据源的完整性检验规则;步骤四 确定数据源的原则性检验规则;步骤五 确定数据源的逻辑