IBM 数据质量解决方案 -数据质量.pptx

IBM 数据质量解决方案James Wang信息集成与治理大中华区产品经理IBM Analytics BigInsights BigQualityBigInsights BigIntegrate大数据整合及大数据质量管理主要组成部分大数据质量大数据整合Blueprint DirectorDiscoveryData Architect FastTrackData ClickDataStageChange Data DeliveryInformation Services DirectorMetadata WorkbenchBlueprint DirectorDiscoveryInformation AnalyzerQualityStageInformation Services DirectorMetadata Workbench元数据管理Information Governance CatalogBlueprint DirectorDiscoveryData ArchitectInformation Services DirectorMetadata Workbench高速吸收高速抽取/加载连接,转换, 重构,传递数据整合/质量和治理工具 YARN高速本地访问HDFS大数据整合及大数据质量管理功能定位数据工程师数据分析专家开发人员具有最高可扩展性的转换和数据整合和质量的引擎，现在本地运行在 Hadoop平台上。Hadoop数据获得企业级的转换和清洗。利用Hadoop集群的能力进行整合、转换和清洗，无需任何编码。BigIntegrate BigQualityHadoop 平台剖析, 分类, 清洗, 监控(集群资源管理器)(冗余可靠存储)大数据整合: BigIntegrate摄取、转换和交付任何数据into/with Hadoop满足批处理或实时的最复杂的转换需求和最多的的可伸缩性。连接可以连接到广泛的传统数据源和Hadoop数据源原生的连接器为关键的数据源提供最高的性能和扩展能力。设计与转换转换和运算任何量级的数据 直接从内置的数百个转换功能中获益利用元数据驱动的生产力并促进协作管理和监控通过简单的基于web的仪表盘来监控运行环境大数据质量管理: BigQuality分析, 清洗 和监控大数据Hadoop本地运行的，最全面的数据质量功能分析 发现 数据分类分析 数据结构内容和质量自动化数据分析流程清洗调查, 标准化, 匹配和留存数据监控跨系统访问和监控数据质量联合 质量指示同业务规则引入数据管家团队 当发生业务数据异常数据质量管理Quality Management剖析和定义监控 管理标准化 清洗InfoSphere DiscoveryInfoSphere Data ArchitectInfoSphere Business GlossaryInfoSphere Information AnalyzerInfoSphere Information AnalyzerInfoSphere Meta Data WorkbenchInfoSphere QualityStageInfoSphere MDM数据剖析 -- 数据质量提升的关键环节数据基本情况分析，提供对数据基本情况的掌握和了解，如数据标准、一致性、完整性、频率分布、有效性、数据类别等， 更好地理解业务状况；业务规则验证，评估系统数据对业务规则的遵循情况，发现违背业务规则的异常数据；针对相应的业务规则，设置相应的预警机制，定期自动审计评估；对数据规则建立基准开始点来跟踪数据变化趋势；提炼业务规则适用多个数据源，提高使用价值；对现存系统中的数据的批量评估规则和评估方式？ 对待进入系统中的新数据的排查规则使用？主题专家数据分析师剖析和审计数据源质量对应用程序、数据库和基于文件的数据源进行以数据为中心的分析字段、跨字段和跨数据源的安全详细分析根据值、范围或参考源设置的不完整或无效值，用于确保数据值的完整性和有效性的质量控制从分析结果创建元数据灵活的配置数据有效性校验规则InfoSphere Information Analyzer了解分析源数据结构，监控与整合和质量规则的符合性物理视图Information Analyzer 自动剖析数据源分析 - 多功能数据档案轮廓内容分析：定义 元数据术语对分析结果或分析行动作注释说明数据结构属性评估从域、格式和重要识别对数据冗余作评估- 交付分析结果：报告可共享元数据发布分析结果关键分析数据的完整图形支持和显示潜在问题进行了标记，便于识别识别和分类数据的算法基于业务规则的数据质量分析Example Findings: Bank account balances below 0.结合业务规则作分析 建立关键数据规则，以为开发、部署和评估提供依