恒生企业级数据中心建设规划教程.pptVIP

数据质量管理模块：数据的完整性、一致性、准确性、时效性进行检查； etl怎么抽取，怎么转换、怎么描述，技术元数据和业务元数据（技术：ODS、EDW表结构描述）（业务：维度模型描述，主题），pd表结构；datad 用于etl；congos主题模型、立方体 三期对元数据统一管理 我将从以下几个方面做一下简单介绍， 首先是我们对合规项目的理解以及我们的优势 接下来就是着重介绍一下合规的日常管理和两个合规专项，隔离墙与反洗钱监控 ,最后就项目实施和售后服务做一个简单的描述。 公司背景这块，由于贵单位都已经使我们的老客户了，我就不做太多的介绍了 * 升级BI平台，提升业务分析能力 用户对平台展现有更好的感受 客户分析：包括客户交易分析（品种、渠道、盈亏、活跃度） 客户价值分析（贡献度分析、贡献度走势） 客户持仓分析(持仓品种分析、持仓比例分析、分量度的持仓分析) 客户资金分析(客户资金变化量分析、客户总资产结构分析） 客户跟踪分析（客户反馈内容及来源、客户反馈分类汇总分析、客户反馈处理结果分析 ） 竞争性分析：主要包括流失性分析（流失客户人数分析、流失客户质量分析、流失客户所属忠诚度级别分析、流失客户时间量度分析） 详细讲 * * * * 中信金通证券：经纪业务排名18名 部均营业额第3名（国信、中金） 华泰数据中心（ODS） 仅仅是数据中心，只有数据推送+数据整合（恒生自己的一套采集程序，自己的中间件） 数据推送服务：风控 数据整合：柜台、财务、开基、自营资管、呼叫中心、CRM、资讯（每日批量） 没有BI分析 实时数据CRM自己来取 大数据量通过DBLINK来弄，超过2G的数据。（高伟达cybo），四个应用已经接上去callcenter 、经纪人系统 民族：数据中心+数据整合+BI,使用了Datastage专业ETL工具 推送：呼叫中心、网上营业厅 数据整合：柜台、财务、开基、自营资管、呼叫中心、CRM、资讯、网站、OA 有BI分析：经纪业务监管报表、资金账户报表、客户分析（账户、资产）、交易量分析、佣金分析、二八分析 金通：没有专业级别ETL工具，（用恒生自己的一套采集程序，自己的中间件） 数据中心+数据整合+BI 推送：呼叫中心、网上营业厅 数据整合：柜台、财务、开基、自营资管、呼叫中心、CRM、资讯、网站、OA 有BI分析 1）表结构没有变化，原样抽取过来 2）到ODS后，数据库字段被统一，不管交易系统是如何升级、替换，冗余字段都会被剔除，以表结构方式存储 3）ODS层到EDW接口固定，按日更新，增量更新有哪些？全量跟新有哪些？EDW则是进行抽象后，按当事人等进行二次设计，表结构发生变化 问题：ODS的数据怎么存？ODS只保存3个月的数据，三个月以后的数据全部到EDW，这样意味着EDW有数据冗余。 应用这块，对数据进行分析CRM，扩展型应用 数据仓库经过清洗，有数据丢失的问题 最高层次的数据挖掘，一个要有模型，另外有工具。提高数据质量，目前只做核对以及依赖性检查，对老化数据的判断，没有实质可操作的工具与方法，只做了校验记录数和字段，两种数据类型（业务型数据，系统不规范导致，数据质量检测软件，主外健，定期生成一个检测报告，专门的数据清洗的软件，直接生成报告，BO专门有一个组件） 数据的准确性如何判断，判断的方法、标准 一致性：主键依赖？ 时效性，是否老化？ 迭代的，一步一步来的， 技术元数据：表结构怎么设计的，如何描述，这就是元数据如何管理，Etl工具的规则 业务元数据，设置的Cube是如何设置的，PD模型、Etl流程 缺少一个统一管理平台，专门的元数据管理工具，开源，ETL开源工具，包括BI、元数据管理等 提供的成果？ 运行的一个监控，ETL工具，ETL调度控制、运行日志，没有报告。运维起来不方便，采集程序做了很多 通过统一管理平台调用运行监控，能够手工触发，定时触发等； 这几个平台没有东西 * * Key Takeaways Although we refer to DWs by their size ….. Size, or (Disk capacity) does not really matter! Speed of light is constant, and so the gating factor is how quickly data can move between the components The impact of bottlenecks are magnified as the volume of data grows Other Points Current warehouse deployments oft