ETL数据整合与处理 第2章 源数据获取（2） 优秀教学课件.pptx

源数据获取;;在数据统计中，往往要生成固定行数和列数的记录，用于存放统计总数。 为方便记录1~12月份商品的销售总额，需要通过生成记录，生成一个月销售总额的数据表，包括商品名称和销售总额两个字段，记录销售的商品和当月商品统计销售总额，共生成12条记录。;（1） 建立【生成记录】转换工程。 （2） 设置【生成记录】组件参数。 （3） 预览结果数据。;使用Ctrl+N快捷键，创建【生成记录】转换工程，单击【核心对象】选项卡，展开【输入】对象，选中【生成记录】组件，并拖曳到右边??作区中，如图所示。 ;双击【生成记录】组件，弹出创建【生成记录】对话框，如图所示。;【生成记录】组件的参数，包含组件的基础参数和【字段】表参数，有关参数的说明如表所示。;设置参数;在生成记录】对话框中，设置有关参数，生成12条记录的商品销售总额表，步骤如下。 （1） 确定组件名称。【步骤名称】参数保留默认值。 （2） 确定表的记录数。【限制】参数设置为“12”。 ;（3） 设置字段参数。在【字段】表中，对各字段的参数进行设置，如与所示，此时完成【生成记录】组件参数的设置。 ;单击【预览(P)】按钮，弹出【输入预览记录数】对话框，预览记录数采用默认值，单击【确定】按钮。弹出【预览数据】对话框，展示生成记录的数据，如图所示。;;在工作中，往往需要生成随机数验证码，作为数据或文件的验证码。 为方便给授权用户验证文件，需要通过生成随机数，生成一组MD5信息授权码，作为数据文件的认证授权码。;（1） 建立【生成随机数】转换工程。 （2） 设置【生成随机数】组件参数。 （3） 预览结果数据。;使用Ctrl+N快捷键，创建【生成随机数】转换工程，单击【核心对象】选项卡，展开【输入】对象，选中【生成随机数】组件，并拖曳到右边工作区中，如图所示。 ;双击生成随机数】组件，弹出【生成随机值】对话框，如图所示， ;【生成随机数】组件的参数，包含组件的基础参数和【字段】表参数，有关参数的说明如表所示。 ;在【生成随机值】对话框中，设置参数，随机生成一组MD5信息授权码，步骤如下。 （1） 确定组件名称。【步骤名称】参数保留默认值“生成随机值”。 （2） 设置字段参数。在【字段】表中第1行，设置字段名称和类型。 ① 单击【名称】参数输入框，键盘键入“授权码”。 ;② 单击【类型】参数输入框，弹出【选择数据类型】对话框，选择【Random Message Authentication Code(HmacMD5)】类型，如图所示。 ;在【生成随机数】转换工程中，单击【生成随机数】组件，再单击工作区上方的 图标。弹出【转换调试窗口】对话框，展示生成随机数的数据，如图所示。;单击【快速启动】按钮，弹出【预览数据】对话框，展示生成随机数的授权码数据，如图所示。;;系统信息是指Kettle系统环境的信息，包括了计算机系统的日期、星期等时间类型信息，计算机名称、IP地址等设备信息，Kettle系统转换过程中的信息等。 为方便读取计算机上到本月最后一天的交易数据文件，需要通过获取系统信息，获得当月最后一天的时间，以及当前计算机名称与IP地址等系统信息。;（1） 建立【获取系统信息】转换工程。 （2） 设置【获取系统信息】组件参数。 （3） 预览结果数据。;使用Ctrl+N快捷键，创建【获取系统信息】转换工程，单击【核心对象】选项卡，展开【输入】对象，选中【获取系统信息】组件，并拖曳到右边工作区中，如图所示。 ;双击【获取系统信息】组件，弹出【获取系统信息】对话框，如图所示。;【获取系统信息】组件的参数包含组件的基础参数，以及【字段】表参数，有关参数的说明如表所示。;在【获取系统信息】对话框中，设置参数，获取当月最后一天的时间，以及当前的计算机名称与IP地址等系统信息，步骤如下。 （1） 确定组件名称。【步骤名称】参数保留默认值。 （2） 设置字段参数。在【字段】表中，设置字段参数。;① 设置第1行参数。【名称】参数设置为“当月最后一天”。单击【类型】输入框，弹出【选择信息类型】对话框。选择“本月最后一天的 23:59:59”类型，如图所示，并单击【确定】按钮。;② 设置第2行参数。与设置第1行参数类似，第2行参数的【名称】参数设置为“计算机名称”，【类型】参数设置为“主机名”。;③ 设置第3行参数。与设置第1行参数类似，第3行参数的【名称】参数设置为“IP地址”，【类型】参数设置为“IP地址”，如图所示，此时已完成【获取系统信息】组件的参数设置。;单击浏览记录】按钮，弹出【Enter preview size】对话框，预览记录数采用默认值，单击【确定】按钮。弹出【预览数据】对话框，展示获取系统信息的数据，如图所示。 ;;本章通过对抽取和生成数据两类方法的介绍，为以后的数据整合和处理打下