基于数据分组方法的数据仓库并行预计算和查询（三）论文.docVIP

　　基于数据分组方法的数据仓库并行预计算和查询（三）论文 第六章 并行化算法的实现 6.1 串行预计算程序结构 在串行预计算程序中，一共有Cubing、DFHandle、QuotientCube和TupleHandle4个类，其中DFHandle和TupleHandle两个类是辅助功能类。它们的类图如图6.1所示。DFHandle的主要功能是打开关闭数据文件，将数据文件中的元组一条一条地读进来，然后将该条元组交给TupleHandle处理，TupleHandle将元组的各维数据分割开来，每次处理一维，并将该维数据存在程序指定的一个内存区域中。关于Cubing类和QuotientCube类的详细介绍.freelsrdata中，直到把所有数据文件都读入data和msrdata中。在读数据之前，loadData还会先统计基表中有多少条元组，元组有多少维和多少个度量值，某度量值上的聚集操作分别是哪种，这些数据分别存在tuplesNum，dimsNum，msrsNum和aggFunOrder中。 avgFun()、maxFun()、minFun()、sumFun()和countFun()里面分别是平均、最大值、最小值、和、计数等聚集操作的实现。 图6.2 Cubing类 Cubing类的工作主要是完成预计算真正开始之前的准备工作，把所有数据都读入内存之后，QuotientCube类便可以使用这些数据来进行预计算工作。Cubing类的prepute()函数是一个虚函数，它的具体实现在QuotientCube中。QuotientCube类是Cubing类的一个子类。 6.1.2 QuotientCube类 QuotientCube类public继承于Cubing。它的类图如图6.3所示。通过调用prepute()开始预计算工作。 图6.3 QuotientCube类 程序首先会创建dimsNum+1个aggDimDataX文件，用来存放不同层次的上界，同时也创建同样多个的aggMsrDataX文件，用来存放相对应的度量值。data0中存放Cubing从数据文件读出的data内容，同样msrData0中存放相应的度量值，data1和msrdata1中将存放的是将data0、msrdata0里数据排序后的结果，用来排序的算法在Partition()中实现。 prepute()接下来便会调用DFS()开始计算上界并将上界与其所对应的度量值写入相应层次的文件中。DFS()的具体算法详见本文4.2节。 预计算程序的数据流图如图6.4所示。 图6.4 串行预计算程序中的数据流 6.2 预计算并行化 并行预计算程序中，在串行程序的基础上增加了两个类：分别是DispatchManager类和Dispatchanager类中的方法是为主从模式中的主进程所调用，Dispatchanger类主要的工作是完成数据读入、映射和数据分发工作。Dispatchanager类和Dispatchanager类和Dispatchanager类中，但由于从进程无法接触到文件信息，因此，主进程必须将与数据文件相关的数据预先得出并发送给每个从进程。DispatchManager在初始化时便会调用getDataFileNum()和getConfig()。 getDataFileNum函数使用DFHandle和TupleHandle来完成工作。首先打开数据文件，将第一行读出。数据文件的第一行是用来写明基表有多少个维度和度量值，每个维度和度量值的名称分别是什么。getDataFileNum里会根据里面的信息分辨出哪些是维度数据，哪些是度量值，分别有多少个，度量值以何种方式进行聚集操作等，然后把这些数据保存下来。最后是统计整个数据文件有多少条元组。这些操作基本和Cubing::loadData中前面部分的操作相同。 图6.5 DispatchManager和Dispatchanager便会将pConfig里的数据连同度量值操作方式和文件夹名称发送到每个相应的进程中，如图6.6所示。同时，在从进程中运行的DispatchPI的点对点通信，完成配置数据的发送和接收。Dispatchanager则会调用loadData()来将数据文件载入内存。 DispatchManager在loadData()时是将数据存入两个长度分别为iDimNum*iTupleNum和iMsrNum*iTupleNum的一维数组中，它们分别是pDimData和pMsrData。与串行预计算程序中的Cubing作用类似，DispatchManager会在载入数据的同时完成映射的工作。但当DispatchManager准备好要发送到其中一个从进程的数据之后，它便会调用sendData()，指明