大数据中心考核草案.pdf

金融大数据中心考核草案 为了更好的推进和保证金融大数据中心建设和对外支持工作， 特编写金融大 数据中心考核草案，草案主要涉及到金融大数据中心数据开发部、应用开发部、 数据挖掘部， 各部门要明确相关部门主要的目标、 策略、 责任及考核最终落实到 人；草案涉及到两部分，一部分是要求类，另一部分是考核类，要求类是日常设 计、开发或运维等工作中需要遵守且对中心内部比较重要的指标或事项， 考核类 主要是影响业务正常开展的相关指标， 系统的不可用、 不及时、 不准确等对业务 部门的工作造成了一定的影响，都属于本中心考核范畴；考核草案详情如下： 一、数据开发部 1. 数据定义 有逻辑模型和物理模型，并有建模说明，建模按照建模规范进行，模型标准 和规范进行考核。 建模规范、考核标准 2. 数据分类 数据按照数据仓库行业标准并结合金融大数据中心实际内容指定标准分类， 数据严格按照分类进行划分 ( 例如：数据归类可划分当事人、产品、渠道、合约、 机构、事件、活动、账务等 ) 分类标准、考核标准 3. 元数据管理 从以下几点进行考核： 1) 对数据仓库中的数据 ( 包含来源以及数据仓库中产生的数据 ) 进行描述， 相关人员可以查看。 2) 统一记录好 ETL 中调度时间、依赖、抽取内容、方式、方法等。 3) 记录并检测系统数据的一致性，并能记录执行情况。 4) 记录好 ETL数据清洗模型、转换模型、加载模型，相关信息入库。 4. 数据标准 主要针对指标的业务标准、技术标准。 范文 业务标准：对指标有明确的统计逻辑。 技术标准： 表、视图、索引、分区、文件、脚本、字段等符合规范，相同 指标需要有统一的定义。 业务标准、技术标准 (有了，看看是否需要完善 ) 5. 数据质量 1) 根据不同的业务需求和规则验证数据是否被正确地转化。 2) 确保所有预期的数据加载到数据仓库中没有任何数据丢失和截断。 3) 确保数据在规定和预计的时间框架内被加载到数据仓库中，以确认改进 的性能和可扩展性。 4) 预期数据被添加到目标系统 5) 确认所有的数据库字段，字段数据加载没有任何截断 6) 记录计数匹配的数据校验 7) 被拒绝的数据的错误日志都有详细记录 8) NULL值字段 9) 重复数据未加载 10) 数据的完整性 缺少数据质量衡量标准。 6. 稳定性： 每天 ETL 调度的出错率需要在总任务量的 10%以内，出错要找出出错原因 ( 例如：没有顺序执行、时间延迟、程序错误等 ) ，并上报给规划管理部进行记录 备案，并纳入季度及年度部门及个人考核。 7. 其它 1) 脚本编写等需要有良好的数据库移植性，不适用特定数据库的特殊函数 ( 使用 sql9.2 标准 ) ，便于后期不同的平台、系统、数据的移植。 2) 安全性：系统的安全性要首先考虑，系统或数据仓库的设计要从网络安 全、系统安全、数据安全方面充分考虑，对外数据支持需要走流程，规 划管理部要进行审核。 3) 数据分散与集中相结合：所有数据集中存储，数据仓库根据需要对外系 范文 统( 中心外或中心内的应用系统 ) 管理分别设置权限，不同的用户维护不 同数据。 二、应用开发部 应用开发部主要涉及到应用程序或接口服务程序的设计、 开发、优化、监控、 运维等 ( 例如 WEB、APP、接口程序等 ) 工作，下面提出针对系统设计、开发或运 维时需要考虑的部分指标，指标有待大家进行扩充