DataService操作基础手册.docx

DataServices培训总结-操作手册 目录 TOC \o 1-3 \h \z \u 一、DS简介 2 二、DS数据加载方式 2 三、DS进行数据抽取模型开发的基本过程 3 四、DS创建数据源系统和目标系统的数据存储 3 1、Oracle数据库作为数据源系统 3 2、ECC作为数据源系统 4 3、HANA数据库作为目标系统 5 五、全量加载过程 5 1、创建Project和Job 5 2、导入源表的元数据到资源库 6 3、创建Data Flow 6 4、设置源表和目标表 7 5、手工执行Job 7 六、基于表比较的增量加载 8 1、在Job下定义工作流 8 2、在工作流中定义数据流 8 3、加入Table_Comparison控件 9 4、设置Table_Comparison控件 9 七、基于时间戳的增量加载 10 1、在Job下定义工作流 10 2、定义Script控件 10 3、定义处理新增数据的数据流和处理更新数据的数据流 11 八、DS中常用控件介绍 13 1、Key_Generation 13 2、Case 13 3、Merge 14 4、Validation 15 5、设置过滤器和断点 15 九、定义Job定期执行 16 1、登录Data Services Management Console 16 2、定义Batch Job Schedules 17 十、其他注意事项 18 一、DS介绍 SAP BusinessObjects Data Services是经过SAP HANA认证ETL工具。 采取数据批量处理方法，定时实施后台作业，将数据从多个业务系统中抽取出来，并进行必需处理（转换，合并，过滤，清洗），然后再加载到HANA数据库中 。 DS组件之间关系： Management Consol： 管理控制台是网页版DS管理工具，能够进行部分系统配置和定义Job实施 Designer： Designer是一个含有易于使用图形用户界面开发工具。它许可开发人员定 义包含数据映射，转换和控制逻辑数据管理应用程序，创建包含工作流（作业实施定义）和数据流 （数据转换定义）应用程序 Repository： 应用程序设计器使用当地资源库用来存放Data Services对象（如项目，作业，工作流，和数据流）定义和源和目标元数据 Job server： 作业服务器开启数据移动从多个不一样种类源集成数据引擎，实施复杂数据转换，并管理从ERP系统和其它源抽取和事务 二、DS数据加载方法 全量加载 增量上载 基于表比较 作业在实施时读取数据源和目标中全部数据，在服务器内存中进行比较，计算数据差异 时间戳增量 需要在数据源中添加时间戳字段，通常为创建时间和最终修改时间，在抽取作业中定义对两个时间戳字段进行对比，符合条件创建时间条目进行插入，符合条件修改时间条目进行更新 利用数据库CDC（changed data capture） 首先需要开启数据库CDC服务，为数据库实例启用CDC功效，为源表启用CDC功效。在这种模式下，DS增量更新不再直接访问源表，而是在和源表相关变更统计表中读取增量 三、DS进行数据抽取模型开发基础过程 为数据源创建数据存放 导入源表元数据到资源库 为SAP HANA目标系统创建数据存放 新建DS项目和批量作业 新建DS数据流：定义源表和目标表，定义变量、编辑Query和Map_CDC_Operation 实施批量作业 四、DS创建数据源系统和目标系统数据存放 1、Oracle数据库作为数据源系统 登录Data Services Designer，在当地对象库数据存放页签中单击鼠标右键，选择新建菜单 创建数据存放“EAM_TEST”，在弹出对话框中输入EAM数据库连接信息 2、ECC作为数据源系统 一样在创建DataStore时，输入ECC连接信息 3、HANA数据库作为目标系统 在创建DataStore时，输入HANA数据库连接信息 五、全量加载过程 1、创建Project和Job 在当地对象库project页签中单击鼠标右键，选择新建菜单，创建项目“ERP_DS”。双击该项目，在“Project Area”，能够在该项目下创建Job 2、导入源表元数据到资源库 在当地对象库数据存放页签中，选择源系统数据存放，单击鼠标邮件，选择“Import By Name”，输入需要导入到资源库表名称。导入成功后，在数据存放table目录下能够看到导入表 3、创建Data F