OLAP与数据仓库设计实验报告.docVIP

OLAP与数据仓库设计实验报告 姓名 专业 软件与服务工程 学号 实验日期 11/11 实验简要说明 本次试验是为了完成数据仓库中维度表的ETL处理。 教师评分 实验目的 本次试验主要是将样例数据库中的数据装载到数据仓库中，这里使用ETL工具——Kettle。本次试验须完成维度表的装载。 实验环境 本次试验需要如下环境： 1）计算机要求： 操作系统：不限，可以使windows也可以是Linux。 内存：建议大于512M。 硬盘：30G及其以上。 2）数据库方面要求： 数据库采用mysql，数据仓库也采用mysql完成。 ETL工具要求： 这里采用开源ETL工具Kettle。 实验任务 将样例数据库中的数据经过ETL过程装载到数据仓库中，主要是完成维度表格的装载。提交完成的转换和job。 实验步骤 一、title维度表转换 1、首先把mysql-connector-java-5.1.15-bin.jar文件放到pentaho/pdi-ce-5.1.0.0-752/data-integration/lib文件夹中，然后点击set-pentaho-env.bat设置环境，在点击Spoon.bat运行，如下图所示： 2、将employees样例数据导入到数据库employees中，在MySQL中新建一个数据库test，并按照实验三给出的星型模型在test中建立employee，department，title，time，salaries这五张表，并按照实验三的要求预先确定变之间的关系，结构如下图所示： 3、在spoon中新建一个“title转换”，在其中加入一个“表输入”对象“employees-titles表输入”对其进行如下设置： 在“数据库连接”处点击新建，如下设置，点击测试，成功后确认。 4、加入一个“增加序列”对象以保证title表中的title_key是自增的，设置如下： 5、加入一个“表输出”对象“test-title表输出”，如下设置： 在“数据库连接处”点击新建，如下设置： 6、连接各个对象如下图所示： 点击执行，“步骤度量”如下图显示： 查看test数据库的title表，如下图所示： 二、department维度表转换 1、新建一个转换“emp转换”，添加一个“表输入”对象“employees-dep表输入”，如下图所示： 在“数据库连接”处点击新建，如下图所示配置： 2、加入“字段选择”对象，做如下设置： 3、加入“增加序列”对象，进行如下设置; 4、添加一个“表输出”对象“test-dept表输出”，进行如下配置： 在“数据库连接”处点击新建，如下配置： 5、将各个对象连接起来，获得如下结果： 点击运行，则在“步骤度量”里显示运行成功： 查看数据库test的deptment表，结果显示如下： 三、employee维度表转换 1、新建一个“emptrans”转换，在其中加入“表输入”对象“employees-emp表输入”，其设置如下图所示： 点击“数据库连接”出的新建，配置如下： 2、加入一个“增加序列”对象，进行如下设置： 3、加入“值映射”对象，进行如下设置： 4、加入“表输出”对象“test-emp表输出”，如下图设置： 点击“数据库连接”处的新建，建立如下连接： 将各个对象连接起来获得如下结果： 数据库显示结果如下： 四、time维度表转换 由于时间是连续的，这里选择用java连接MySQL数据库，直接将1085年到2014年之间的所有日期都导入到test数据库的time维度表中，代码如下所示： package ymd; import java.sql.*; public class myTest { //声明Connection对象 Connection con; Statement st; //驱动程序名 String driver = com.mysql.jdbc.Driver; //URL指向要访问的数据库名test String url = jdbc:mysql://localhost:3306/test; //MySQL配置时的用户名 String user = root; //MySQL配置时的密码 String password = 1qaz2wsx; int year=1985; int month; int day; public void setConnection() throws Exception { try { Class.forName(driver); con = DriverManager.getCon