四、共享数据与公共数据库平台维护-西北农林科技大学网教中心.docVIP

西北农林科技大学 数字校园共享数据交换技术规范 （2010年11月12日） 目录 一、 概念定义 2 1. 共享数据 2 2. 公共数据库平台 2 二、 共享数据交换流程 2 1. 数据平台从业务系统抽取共享数据 2 1. 业务系统从数据平台获取共享数据 3 三、 共享数据交换的技术手段与方法 3 1. 数据平台同步共享数据 4 2. 业务系统初始化数据 4 3. 业务系统更新数据 4 4. 数据平台的数据推送 4 四、 共享数据与公共数据库平台维护 5 1. 共享数据维护 5 2. 公共数据库平台维护 5 五、 招生数据共享到公共数据库平台流程 5 1. 产生招生数据 5 2. 根据招生数据产生本科新生数据 5 3. 使用本科新生数据 5 六、 共享数据字典 5 概念定义 共享数据 指学校各业务系统中的部分特定数据，这些数据除业务系统自身使用外，其它业务系统也需要使用，这些数据称为共享数据。 如：人力资源系统中的教职工基本信息（工号、姓名、部门等）数据就是教务管理系统所需数据，因此这些数据为共享数据。 公共数据库平台 指存储共享数据（从各业务系统中抽取），并将这些数据提供给需要的各业务系统的一个数据库平台。以下简称数据平台。 数据平台不生产共享数据，数据平台中共享数据源自生产各共享数据的业务系统。数据平台与各业务系统数据库进行周期性的交互，更新共享数据（包括从业务系统抽取共享数据和提供数据给其它所需的业务系统）。 共享数据交换流程 为了使数据平台中的共享数据与各业务系统实现周期性的交互，我们采用数据同步的设计方案。其具体实现主要包括数据平台从业务系统抽取共享数据和业务系统从数据平台获取共享数据两种流程。具体如下： 数据平台从业务系统抽取共享数据 在业务系统数据库中建立共享数据的视图，并授权给数据平台用户只读权限，数据平台对视图进行抽取，将数据抽取到平台的中间表(临时表)中，如图1－1所示。 图1－1 中间表的表结构与视图结构相同，同步工具采用全增全减方式将视图中的数据全部抽取到中间表。 同步工具将中间表的数据与数据平台中的历史数据进行对比，将数据的变更信息写到数据变更表中(数据字段+变更类型+变更时间)，并将变更数据写到公共数据表中。 各业务系统要保证其提供的视图中的数据是最新的，以便于数据平台将共享数据提供给其他业务系统时，能使用到最新数据，使其业务流程可以准确顺利的进行。 业务系统从数据平台获取共享数据 数据平台为业务系统提供所需数据的视图，并将数据的变化信息体现在数据变更表中，业务系统在第一次初始化所需共享数据后，通过定时读取数据变更表中的数据变更信息，对所需共享数据进行更新，如图1－2所示。 图1－2 数据平台每隔一段时间（视具体业务确定）与各业务系统进行一次数据更新的数据抽取，同时将数据的更新情况反映到数据变更表中，以便其他业务系统能及时获取最新的信息。当业务系统与数据平台之间跨数据库、无法直接读取视图时，数据平台可以将其所需的共享数据及数据变更信息推送到业务的数据库中，以供其实现从数据平台中同步所需数据的需求。 共享数据交换的技术手段与方法 数据平台采用ORACLE公司的数据加载工具Oracle Data Integrator)抽取各业务系统的共享数据。ODI工具支持异构数据库，即当数据源不是Oracle数据库，… 其它字段 GXLX 更新类型，1新增 2更新 3删除 GXSJ 更新时间，’YYYY-MM-DD HH:MM:SS’ 示例数据如下： JGH XM YXSH … GXLX GXSJ 2010119999 张三 001 … 1 2010-10-10 14:30:23 2010119999 张三 003 … 2 2010-11-10 08:17:44 第一行数据表示在2010年10月10日新增了一名教工，教工号是2010119999； 第二行数据表示在2010年11月10日教工2010119999有数据更新； 业务系统初始化数据 业务系统从V_JZG_INFO视图中获取全部数据，进行数据初始化。 业务系统更新数据 数据初始化后，业务系统定期扫描V_JZG_SYNC视图，并与自己的更新记录进行比对。当发现有数据需要更新时，从V_JZG_SYNC取出需要更新的数据，按时间升序排序更新到自己的数据库中。 数据平台的数据推送 如果业务系统无法读取数据平台的数据，数据平台可以通过ODI工具将数据推送到业务系统的数据库中，便于业务系统能及时的更新数据。 具体流程为，业务系统为数据平台提供一个数据库用户，在该用户下创建一个表，该表除与数据平台的V_JZG_SYNC结构相同外，还需要再增加一个是否已更新字段。数据平台与数据源同步数据后，将变更数据推送到业务系统数据库中，并写入更新类型、更新时间和未更