青鸟金融模型介绍.pptVIP

数据仓库 数据仓库做了什么？ 是整合分散的数据源。 是数据的标准化。 是数据的整合（不同于数据加工）。 形成建立仓库模型的流程（而不是建立一个堆满数据的数据库）。 这样就建立了一个可扩展、易扩展的仓库处理流程。它的建设目标不可能通过一个阶段的开发完成，而应该根据银行管理决策的发展需要，不断扩充其应用功能。 集成/产品/服务结构 商业智能项目技术体系 商业智能产品系列 JB-DI介绍—概述 用于数据抽取转换集成加载的数据整合平台 跨平台运行,可在多种软硬件环境间进行数据交换 多数据库支持,完成不同数据库间的数据互通 支持多种字符集,可支持EBCDIC与 ASCII码间的转换 JB-DI开发背景 目的性 针对数据整合领域开发，研发具有很强的目的性。 实用性 结合实际项目开发，注重解决项目实施中的实际问题。 前瞻性 是青鸟数据整合及信息集成解决方案的一个组成部分。 完备性 经过大型项目的实际验证，完善的技术实现架构。 数据整合流程 JB-DI产品系列 数据整合处理关键环节 数据抽取 文件装载 数据转换 数据加载 质量检查 代码维护 数据整合流程—数据抽取 数据抽取的特点 数据抽取过程运行于源系统主机上。 屏蔽操作系统、数据库、字符码制的差异性，卸出的数据包对目标主机是一致的。 操作系统：AIX、HPUX、SCOUNIX、AS400、ES9000、WINDOWS 数据库：DB2、INFORMIX、ORACLE、SYBASE、SQLSERVER 字符码制：ASCII、EBCDIC 必须能够清洗源数据中的物理级错误，如乱码、非法字符等。 支持灵活的抽取策略，理论上只要是标准SQL的查询语言都应支持。 支持各种抽取模式（如全量抽取、动户抽取）之间的灵活转换。 源数据抽取文件需要有冗余的校验信息，用来为系统控制和监视需求提供记录数目和字节总数等。 抽取程序能够自动生成卸出数据的格式描述信息 支持多种方式的数据传输方式，包括FTP或其它传输工具。 数据整合流程—文件装载 文件装载的特点 文件装载是数据抽取的逆过程，它必须能支持多数据源的文件数据装载模式。 支持多种文件装载方式，如添加装载和清空装载 能够根据校验文件检查出文件抽取和传输中的错误。 当数据文件装载过程中出错时，将当前未装入记录记入日志，以备错误处理。 数据整合流程—数据转换（1） 数据转换的分析 数据转换是数据整合过程的核心环节 数据转换的目的是生成与目标系统一致的数据 数据转换包括数据整理、剔除、合并、清理、验证等功能 数据转换在三个层面上进行 数据表级：表拆分，表合并，多对多转换 记录级：记录拆分，记录合并，多对多转换 字段级：简单赋值、截取、合并、算术运算、逻辑运算、代码转换、阶值转换、 数据转换必须支持条件分支运算 数据转换过程应该将无效数据标识出来而不能轻易丢弃，以保证数据的完整性， 数据整合流程—数据转换（2） 数据转换设计的原则要求： 首先完成数据整理工作，保证数据格式的正确性。 尽早剥离掉数据仓库中不需要的数据（记录和/或字段)。 只有数据质量问题无法在源应用系统中修复的时候才采用数据清洗的方法。 采用参数化的设计方法，以便新的条件和规则增加时，只需要做最少的编程工作，通过配置参数表的方式来完成。 转换程序的设计采用模块化的设计方法，以便于数据仓库的后续阶段的共享。 数据整合流程—数据加载 数据加载的特点 数据加载完成转换后数据到目标数据库的加载 加载数据格式与目标数据应该完全一致。 数据加载的关键是加载模式 新增（APPEND） 替换（REPLACE） 修订（MODIFY） 可以支持部分字段的更新加载。 数据加载时目标系统必须是离线的。 数据整合流程—质量检查 质量检查的特点 数据质量检查用于检查数据整合数据的逻辑错误 质量检查的类型 空值（NULL） 匹配（MATCH） 范围（RANGE） 相等（EQUAL） 质量检查的报告方式 打印出错误记录—REPORT 统计错误记录数--STATISTIC 质量检查的出错类型 系统错误—SYSTEM 警告错误—WARNING 致命错误—FATAL 数据整合—实施方法论 JB-DI的技术特点 JB-DI的技术特点 高效性：多线索并行处理 易用性：脚本配置解释执行方式来完成 开放性：支持多种平台和数据库。 扩展性：配置文件格式采用CFG/INI标准规范。 灵活性：平台提供外部通用编程接口 JB-DI在数据整合中的作用 易用性：减轻编程的压力，加快数据整合程序的开发速度 高效性：内置的并行处理机制，可以充分利用机器性能缩短数据整合程序的运行时间 开放性：支持多种数据库运行环境的选择 灵活性：适应数据转换的复杂性 JBAI-REPORT以Excel文件定制企业报表格式，并生成企业报表