kettle的配置.doc

采集转换引擎实施文档 刘从云 一、Kettle的资源数据库 1、解压缩(Kettle)pdi-ce-3.2.0-stable.zip至采集机。 2、设置系统环境变量KETTLE_HOME，右键点击“我的电脑”→“属性”→“高级”→在“系统变量”处点击“新建”，分别输入变量名及值： KETTLE_HOME D:\Program Files\(Kettle)pdi-ce-3.2.0-stable\data-integration（Kettle的解压路径，直到Kettle.exe所在目录） PATH % KETTLE_HOME%; 3、替换%KETTLE_HOME%\.kettle\perties文件, 修改该文件里的各数据源及风控目标数据库的连接字符串信息，perties的配置如下所示： 数据源配置格式： LOCALFAHOST=0 Host Name LOCALFADATABASE=feappaix Database Name LOCALFAPORT=52000 Port LOCALFAUSER=risk User Name LOCALFAPSW=risk Password 风控目标库,转换目标库配置格式 HOST=0 主机名 DATABASE=liucongy 数据库名 PORT=1521 端口号 USER=risk 用户名 PSW=risk 密码 4、启动kettle， 1)新建到资源库的数据库连接 点击“新建”按钮，弹出以下对话框 这里可以选择本地一个数据库作为资源库，，最初没有资源库， 则点击新建按钮，新建一个数据库（做资源库）连接，注意前提是(mysql为例)已存在该数据库。(\\\Share\个人杂项目录\lubacui\Database\kettle)目录下有关于mysql，kettle的相关安装文件。 建立到数据库的连接： 点击“新建”按钮，选择General 选项 ，输入mysql数据库连接的相关信息。完毕后，点击test, 图1 创建资源库 弹出提示正确连接到数据库，则配置成功。 图2 创建资源库的配置 要指定字符编码与创建的数据库一致。 2)创建资源库 选择好刚创建的数据库连接，填写好资源库名称， 注意：这里名称不能输入中文或特殊字符，虽然不提示出错，最后会导致配置不成功。 点击“创建或更新”按钮创建新的资源库 即在repo数据库中创建资源库(关于资源库的建表脚本在 HYPERLINK \\\\\\Share\\个人杂项目录\\lubacui\\Database\\kettle\\Noname1.txt \\\Share\个人杂项目录\lubacui\Database\kettle\Noname1.txt中)如果你选择了在repo库中手动执行了Noname1.txt中的sql，那么直接选否，然后admin/admin登录就OK了。 当然也可以选择帮你自动创建，那么选择是，弹出： 意思是为创建资源库这个过程执行之前您是否想看看这个创建过程的具体的sql语句 选择否，则直接创建资源库，完成后弹出。 选择是，则弹出sql语句对话框，里面显示的是创建所有表和插入相关数据的sql语句。点击关闭。 点击确认，然后admin/admin登录。 二、导入kettle的资源库转换配置 在kettle界面点击菜单“资源库”→“探索资源库”，进入“资源库浏览器”界面，如图3所示： 图3 资源库浏览器 右键点击资源库根目录，选择“从一个XML导入所有的对象”。然后测试数据库连接是否都正常。 三、采集转换 对于市场和财务的采集转换根据时间的不同采用2种方式来采集转换 历史数据 由于历史数据是过去一段时间内的数据，数据量一般比较大，为了节约时间，对于历史数据的采集和转换，我们用kettle的图形界面来采集和转换。 注意：对于财务数据的采集和转换是不能跨年的。 每天实时数据 对于每天新的数据，通过FeApp业务系统的调用功能，调用市场和财务的采集转换。 四、FeApp调用计算引擎 1、FeApp调用FeEngine ，在WEB-INF\classes目录下的perties: 调用FeEngine 配置文件： mon.ws-hostip= （部署服务的ip） mon.ws-hostport=8090 （应用访问的端口 ） mon.ws-appname=feengine （feengine 的应用名） 2、 在FeApp中分为定时任务和手动任务 1) 定时任务：每天