5.TD员工入职技术培训之ETL开发与维护 V1.pptVIP

议题 ETL 介绍 ETL Automation说明 ETL 开发 ETL 管理维护 ETL人员职责与技能要求 ETL人员职责 技能要求 ETL人员职责领域 能够捕获并把握ETL需求 能够设计、开发以及测试从旧版本系统或生产系统抽取数据的程序 能够设计、开发以及测试在数据加载入库前对数据验证和加工处理的程序 能够设计、开发以及测试加载初始数据和日常数据的程序 能够为数据的及时性和传输频率设计符合SLA的流程 能够决定哪些数据是历史数据以及这些历史数据的保存周期 能够决定数据的增长趋势和业务峰值周期 ETL人员技能要求 精通Teradata数据库 精通ETL tools 技能种类 技能要求 Databases 熟练掌握 Teradata Active Data Warehousing Knowledge 精通 Tools – Development 精通 Tools – Enterprise Application Integration 熟练掌握 Tools – ERP Software 熟练掌握 Tools – ETL 精通 Tools – Job Control and Scheduling 熟练掌握 Tools – Modeling 了解 Tools – Operating Systems/Networking 了解 Tools – Security 了解 Tools – Teradata 精通 THANK YOU!QA 存储数据 0090.pl 在数据库上创建源表结构 0100.pl 加载源数据文件到数据仓库 0200.pl 检查加载的记录数和源文件记录数是否一致，源表改名 Map文件 源文件结构，inmod程序读取使用 加载算法6，每日加载：将今日数据 减去（minus）昨日数据的结果加载至数据仓库 加载算法6，每日加载：将今日数据 减去（minus）昨日数据的结果加载至数据仓库 加载算法6，每日加载：将今日数据 减去（minus）昨日数据的结果加载至数据仓库 生成脚本自动存放在$AUTO_HOME\APP\CLP\ clp_pty_mgr_dtl_src_his\bin目录下 任务开发前的必要条件：源表、目标表ddl创建 主索引：经常访问字段，保证查询效率；取值唯一字段，保证数据分布均匀，节省数据库可能空间；值稳定字段，减少数据在AMP间的迁移，提高加载效率； 主索引：经常访问字段，保证查询效率；取值唯一字段，保证数据分布均匀，节省数据库可能空间；值稳定字段，减少数据在AMP间的迁移，提高加载效率； 标准加载算法 算法代码 算法名称 算法说明 0 其它加载方式 手工书写sql 1 全表覆盖 delete/insert 2 直接追加 insert where … 3 历史表加载 历史表加载算法 4 主表、历史表加载 主表、历史表加载算法 5 主表加载 delete where 主键 in()/insert 6 初始、比对加载 初始加载：insert 每日加载：insert … minus … 历史表加载算法 2个重要概念 开始日期：数据开始存在的日期 结束日期：数据消失（或失效）的日期 记录了数据的变动轨迹 初始加载 Insert 开始日期为加载日期或最小日期（mindate结束日期为最大日期（maxdate日常加载 新增数据 直接插入目标表 s_date=加载日期，e_date=最大日期 消失或失效数据 更新目标表结束日期字段值 e_date=加载日期 历史表加载算法示例 历史表脚本生成器 genhis200.exe --历史表脚本生成器 Usage: genhis200.exe SUBSYS JOBDIR DBNAME HISTABLE LOADMODE [MASTABLE] # Function: 拉链历史表数据转换脚本生成 # Usage : 使用参数 # SUBSYS--ETL自动流程所定义的子系统名，格式XXX # JOBDIR--历史表数据转换任务名 # DBNAME--历史表所在数据库名 # HISTABLE--历史表名 # LOADMODE--目标表加载方式 # [1:全表覆盖 2:直接追加] 3:插入历史表 4:插入历史表和主表 0:其它 #