IT调研与评估数据架构部分 V0.8.doc

数据架构调研与评估 数据架构是指企业总体的数据采集、处理、存储和管理等的总体架构，区别于应用架构，数据架构主要侧重于业务处理所需的信息和信息流，包括： 总体架构 数据标准化：企业级数据定义的标准化及管理水平； 数据质量：数据的准确性； 数据管理：对IT系统中的数据管理，包括：存储组织、清理、访问控制等； 总体数据架构 现状描述 目前，中国人寿的总体数据架构的建设是一个自底向上的过程：通过建立一个个应用，产生相应业务区域的数据模型，然后根据需要建立这些数据模型间的数据接口，从而以逐步“联接”的方式，形成中国人寿的总体数据架构。 下图描述了这种基于应用建设所建立起来的数据架构： 上图摘自《中国人寿应用系统介绍及计划》，它描述了整个中国人寿主要的应用系统间的关联和数据交换，从总体上看来，中国人寿： 基本实现了业务信息的电子化，绝大多数业务处理都有应用系统支持； 主要的业务功能区域（如寿险实务、财务管理等）的信息处理都有较为成熟的应用架构和数据架构； 各个应用系统之间可以利用数据文件进行数据交换，实现了信息的传递和共享； 银保通系统能够实现和银行间的实时数据交换； 基于数据库技术的信息处理体系基本成熟； 初步建立了以中间库为基础的数据交换平台，并基于它实现了企业数据综合查询统计功能； 初步建立了以统计报表工具为手段的数据统计和报表系统； 财务系统利用了数据仓库技术和SAS工具进行数据分析，除此之外，诸如上海还建立了自己的数据仓库系统； 基于NOTES的消息系统支持了公司的日常信息沟通工作； 基于影像技术的非结构化数据正在一些分公司使用，并逐步推广。 数据模型和应用的相关性 以应用为划分的“烟囱”结构，数据基于应用，并被锁定在应用系统中 数据并没有被作为一个单独的IT组成部分被规划和设计，而是作为应用系统的一部分，由于应用系统的供应商不同，并且其设计工作也缺乏相互之间的协调，因此，数据模型基本按照各个应用系统的功能需求进行设计和实现； 由于缺乏有效的数据共享，在有些业务环节上，一个应用所需的数据无法从相关的其他应用系统中获得（如AMIS和财务系统间需要共享代理人佣金信息），而只好重复录入； 另一方面，由于同一个数据可能存在多个数据源（从多个应用系统中被重复录入），由此导致了信息的不一致。 核心业务系统的总体数据组织主要是保单处理为中心，而较少倾向于以客户为中心； 结构化数据基本上都利用数据库技术实现，非结构化数据只有少数地方使用影像技术实施了电子化，从应用程度上两者之间的集成度不高，影像工作流技术和其他应用系统之间没有能够做到无缝联接。 缺乏自动化和实时的数据交换 以数据文件交换为主要手段 现有的数据交换方式通常是从一个应用中将数据导出到平台文件中，再传递到目标平台并并导入到目标应用系统中； 由于大批量的数据抽取工作会影响到正常的业务处理效率，因此通常的数据抽取都被设定在在晚间进行，所以数据的时效性较差（通常都在一天左右）。 数据交换过程缺乏严格的数据校验、过程控制等 接口数据的错误经常是在导入目标系统时才发现，而不是作为系统数据质量控制的一部分，预先在源系统中进行合法性校验； 数据交换的过程缺乏技术性控制：诸如大批量数据分割、数据传输的校验、重复操作的处理、操作回滚等。 对不同版本或开发商开发的，支撑同一业务应用，缺乏统一规定的应用系统数据外模式 例如业务处理系统，总颁系统CBPS和深圳、江苏、上海的系统对外的数据模式和接口都不相同，和其他应用系统（如CLAF）的接口需要各自编写相应的接口软件来实现。 从较好的做法上，对同一业务处理过程，应当定义标准的接口模式，并以此作为软件开发的指导或标准。例如：中国电信就对所有的计费系统开发商定义了系统对外接口标准，并禁止其分支机构购买不满足这一标准的产品。 数据物理层次和数据提升（staging） 事务（transaction）处理层数据 应用系统中存储了完整的、原始的事务处理数据； 应用系统中的主要事务处理数据都具备时间戳等增量识别标志； 没有后备系统存储离线历史数据； 数据分布在各个省公司或地市公司的应用系统中，多数省份实施的是服务器的物理集中； 原始业务数据没有从省公司到总公司的复制； 基本上没有省级逻辑集中的各省都已经实现将业务数据从地市服务器到省服务器的每日复制，实现了省级综合查询功能； 数据集成平台 缺少完整统一的集成平台来集成各应用中的数据，建立企业级信息视图 轻度统计汇总数据 利用应用系统自身的报表功能和统计功能实现； 省级和地市级的IT人员完成了一定的查询和报表开发工作，以满足业务部门的小规模要求； 对于应用系统中没有的报表，利用手工（UTAB或EXCEL）实现； 总公司层面缺乏对轻度汇总数据的全面集成； 高度汇总数据 应用系统中具备部分高度汇总统计功能； 对于应用系