ETL数据整合与处理(Kettle)第七章-任务.pptxVIP

任务（1）;;大多数的数据整合不是一个转换就能够完成的，而是分为一个个的任务（Job，又称作业）去处理。任务可以是一个清洗、装载或转换等操作，也可以是多个转换、任务的集合。 任务是按顺序执行的，是比转换更高一级的处理流程。本章将分别介绍任务的开始、转换、成功组件，以及介绍检查数据库表与字段是否存在、文件是否存在、执行SQL脚本和发送邮件等任务常用组件。;开始是任务执行的起点，在开始任务中，设置定时调度参数，可以使任务定时执行。 为了抽取数据库中新到的数据进行分析，需要设置定时任务，使用开始任务组件，定时每天23:59启动任务进行抽取。;（1） 建立【开始】任务工程。 （2） 设置【开始】组件参数。 （3） 运行任务工程。;使用Ctrl+Alt+N快捷键，创建开始任务工程，并将工程命名为“开始”，即创建【开始】任务工程。 在【开始】任务工程中，单击【核心对象】选项卡，展开【通用】对象，选中【Start】组件，并拖曳到右边工作区中，如图所示，在一个任务中，只能有一个【Start】组件。;双击上图所示的【Start】组件，弹出【作业定时调度】对话框，如图所示。;有关参数的说明如表所示。;在上图所示的【作业定时调度】对话框中，设置有关参数，每天23:59开始，执行抽取数据的任务，如图所示，此时完成【Start】组件的参数设置。;在【开始】任务中，单击【开始】组件（名称已由“Start”设置为“开始”），再单击工作区上方的 图标，弹出的【执行作业】对话框，如图所示。;在正式执行任务前，读者可以根据任务需要，设置执行任务的参数，有关参数的说明如表所示。;运行任务;因为不需要设置运行任务的参数，所以单击上图下方的【执行】按钮，运行【开始】任务工程。在【开始】任务工程工作区下方，展示运行任务的执行结果日志，如下 图所示，表示【开始】任务在开始执行，定时调度在进行当中。如果需要停止正在运行的任务，那么单击工作区上方的 图标。;;转换是任务中最重要的工作项，转换任务是调用已经建立好的某个转换工程，通过任务调度，执行该转换工程的工作。 为了统一采集各个班级的月考成绩，??要将上个月月考的成绩装载至数据库中，使用转换任务组件，设置每月1日11:59启动任务，调用“月考成绩采集.ktr”转换工程采集数据。;（1） 建立【转换】任务工程。 （2） 设置【转换】组件参数。 （3） 运行任务。;建立转换任务工程步骤如下。 （1） 创建转换任务工程。使用Ctrl+Alt+N快捷键，创建【转换】任务工程。 （2） 创建转换任务和任务定时调度。在【转换】任务工程中，参阅7.1小节，创建【Start】组件，设置参数，将其组件名称命名为“开始”，并设置为每月1日的11:59定时调度。接着单击【核心对象】选项卡，展开【通用】对象，选中【转换】组件，并拖曳到右边工作区中，由【开始】组件指向【转换】组件，建立节点连接，如图所示。;双击转换】组件，弹出【转换】对话框，如图所示，【转换】组件包含组件的基础参数，以及【Options】【设置日志】【Arguments】【命名参数】4个选项卡参数。;组件的基础参数 组件的基础参数包括【作业项名称】【Transformation】两个参数。【作业项名称】参数表示转换任务名称，采用默认值“转换”；【Transformation】参数表示转换工程文件，缺省值为空，单击【Transformation】参数选项对应的【浏览…】按钮，浏览到月考成绩采集的“月考成绩采集.ktr”转换工程文件，将【Transformation】参数设置为“E:\Kettle工程\第7章\月考成绩采集.ktr”，如图所示。 ;2. 【Options】选项卡参数 【Options】选项卡参数的说明如表所示。 ;3. 【设置日志】选项卡参数 单击图 【设置日志】选项卡，如图所示。 ;有关参数的说明如表所示。 ;通过设置日志、浏览日志的方式，监控任务的运行。【设置日志】选项卡的参数设置如图所示，此时完成【设置日志】选项卡的参数设置。 ;4. 【Arguments】选项卡参数 单击【Arguments】选项卡，如图所示。 ;有关参数的说明如表所示。 【Arguments】选项卡参数主要是复制上一步结果到位置参数，因为月考成绩采集不需要复制，所以【Arguments】选项卡参数采用默认值。;5. 【命名参数】选项卡参数 单击【命名参数】选项卡，如图所示。 ;有关参数的说明如表所示。 【命名参数】选项卡参数主要是将前一个转换的结果复制为转换的参数，复制到输出组件，因为月考成绩采集不需要复制，所以【命名参数】选项卡参数也采用默认值，不复制前一个转换的结果为转换的参数。此时完成整个【转换】任务工程的参数设置。;在【转换】任务工程中，单击【转换】组件，再单击工作区上方的 图标