大数据指标模型治理与实践.pptxVIP

大数据指标模型治理与实践主讲人：梁福坤指标资产管理数据工具生态化指标模型的缘由数据工具生态化指标资产管理指标模型的缘由指标在大数据生态中的位置分析师客服产品运营市场管理层AdHoc（SQL）OLAP（MDX）ADSDWS离线数据DWDODS实时数据调度系统数据ETL……物流资讯商户交易用户业务意义驱动从数据到信息的积累多方指标定义规范统一最小成本的交付业务数据的多角度归属公共逻辑下沉业务权限统一数据已经爆炸了，信息却仍稀缺~智慧抽象+多场景适配知识人为解读经验填充信息业务处理数据OLAP对外服务整体架构图（Mondrian extend）ApplicationSchema ManagerFormatterDoraemonDo-Report任性Ad-hocOpen_indexUserDefinedFormatMDXMDXParserSchemaLoaderSession ManagerMdxParserMDXValidatorStatementEvaluatorSchemaXML FileConnectionSchemaDimensionalModelFunction TableDim ManagerCellRequestsMemberCodeDimmensional LayerBuilt-InFunctionAutoGengeratorStarSchemaModelAggregate ManagerCachedAggregateSQL LayerUserDefineFunctionSQL ModelSQL GeneratorSchemaTemplateMemberLoaderAggregateLoaderDialectData TransformerMerge DataDiff DBHandleMetastoreJdbc/OdbcJdbc /OdbcTempCache ResultColumn ExtraDialect DMLTask数据仓库数据工具生态化指标资产管理指标模型的缘由数据要秉承宁缺毋滥的准入机制在数据采集之初完善元数据管理，在数据仓库阶段统筹业务含义，在数据流转过程中跟踪血缘关系！以工具化生态支撑统一服务UE仪表盘驾驶舱用户画像流量转化 ABTest活动分析产品决策层数据分析体系生态平台元数据规范数据仓体数据管理数据建模-WorkBeanch数据质量体系-聚光灯DMS(数据集市存储)数据资源数据仓库模型体系维度、指标命名规则体系血缘关系DWS(数仓汇总)生态体系数据开发接口雷电接口（大数据量）Doraemon（MDX API）场景角色DWD(数仓数据)Adhoc（同步/异步）复杂度（权限过滤）大数据运维ODS(操作数据存储)飓风（数据质量）冲击波（实时OLAP定义输出）统一ETL离线计算：Open ETL（log/olap/sql)实时计算：Druid、Spark Streaming+元数据管理调度系统数据接入DB/BinlogKafka服务端、用户端日志地图、爬虫等第三方数据数据血缘关系基础①·····RedisSolrFile-ARestApiHBaseHDFSMysqlOracle离线场景： 抽象服务的取存场景 批量、批次的设计 暂停点的缓存周期 异构数据转换 引擎方言兼容血缘关系： 细粒度的上下游依赖 调度系统DAG 元数据LLLMMMKKKGGGIIIJJJBBBCCCDDDEEEAAAAAARedis-BDB-A②②数据扇入扇出装置迭代器③⑥⑤Select A⑦GlobalHandleCombinePut C④Get BHbase目标存储Hbase-CHDFS-A指标体系规范数据准入指标体系主题域数据扇入任务配置定义事实表或者视图维度仓储层级规范设定命名规范检测父子星型雪花定义单列或者多列度量数据质量原子指标维度特定值域同步频次批次数量准入测试环境组合指标衍生指标完成订单量配送超时率数据工具生态化指标资产管理指标模型的缘由数据转换工具开放式Log开放式SQL开放式OLAP血缘关系分析建模工具WorkbenchPowerDesigner元数据是大数据价值的基础先有元数据后有数据生态从数据到信息必需质量保证的关键数据流转语义可追溯元数据管理数据展示工具数据集市Saiku元数据存储HiveMeta主题域指标库字典库 2018 AI先行者大会AI Pioneer分析定义与实现分析实现业务定义细分业务主题域数据域主题业务过程维度事实明细表维度表修饰类型聚合表时间周期修饰词原子指标时间周期维度参与原子指标衍生指标度量属性计算成员度量属性星型模型父子模型雪花模型缓慢变化维类型一：直接更新列类型二：新增变更记录类型三：更新列+Previous记录引用自：/blog/update-hive-tables-easy-w