基于数据分组方法的数据仓库并行预计算和查询（三）的论文.docVIP

　　基于数据分组方法的数据仓库并行预计算和查询（三）的论文 　　第六章 并行化算法的实现 6.1 串行预 计算 程序结构 　　在串行预计算程序中，一共有cubing、dfhandle、quotientcube和tuplehandle4个类，其中dfhandle和tuplehandle两个类是辅助功能类。它们的类图如图6.1所示。dfhandle的主要功能是打开关闭数据文件，将数据文件中的元组一条一条地读进来，然后将该条元组交给tuplehandle处理，tuplehandle将元组的各维数据分割开来，每次处理一维，并将该维数据存在程序指定的一个内存区域中。关于cubing类和quotientcube类的详细介绍，将在以下的章节中给出。 图6.1 dfhandle类和tuplehandle类 　　6.1.1 cubing类 　　cubing类的类图如图6.2所示，其中loaddata()的作用是使用dfhandle类，打开指定的数据文件，将元组读出之后，使用tuplehandle来将各个维度和度量值的数据拆分开来，然后对所有的维度做映射操作，写入映射文件，同时将映射后的维度数据存在data这个二维数组里，度量值存在msrdata中，直到把所有数据文件都读入data和msrdata中。在读数据之前，loaddata还会先统计基表中有多少条元组，元组有多少维和多少个度量值，某度量值上的聚集操作分别是哪种，这些数据分别存在tuplesnum，dimsnum，msrsnum和aggfunorder中。. 　　avgfun()、maxfun()、minfun()、sumfun()和countfun()里面分别是平均、最大值、最小值、和、计数等聚集操作的实现。 图6.2 cubing类 　　cubing类的工作主要是完成预计算真正开始之前的准备工作，把所有数据都读入内存之后，quotientcube类便可以使用这些数据来进行预计算工作。cubing类的prepute()函数是一个虚函数，它的具体实现在quotientcube中。quotientcube类是cubing类的一个子类。 　　6.1.2 quotientcube类 　　quotientcube类public继承于cubing。它的类图如图6.3所示。通过调用prepute()开始预计算工作。 图6.3 quotientcube类 　　程序首先会创建dimsnum+1个aggdimdatax文件，用来存放不同层次的上界，同时也创建同样多个的aggmsrdatax文件，用来存放相对应的度量值。data[0]中存放cubing从数据文件读出的data内容，同样msrdata[0]中存放相应的度量值，data[1]和msrdata[1]中将存放的是将data[0]、msrdata[0]里数据排序后的结果，用来排序的算法在partition()中实现。 　　prepute()接下来便会调用dfs()开始计算上界并将上界与其所对应的度量值写入相应层次的文件中。dfs()的具体算法详见本文4.2节。 预计算程序的数据流图如图6.4所示。 图6.4 串行预计算程序中的数据流 　　6.2 预计算并行化 　　并行预计算程序中，在串行程序的基础上增加了两个类：分别是dispatchmanager类和dispatchanager类中的方法是为主从模式中的主进程所调用，dispatchanger类主要的工作是完成数据读入、映射和数据分发工作。dispatchanager类和dispatchanager类和dispatchanager类中，但由于从进程无法接触到文件信息，因此，主进程必须将与数据文件相关的数据预先得出并发送给每个从进程。dispatchmanager在初始化时便会调用getdatafilenum()和getconfig()。 　　getdatafilenum函数使用dfhandle和tuplehandle来完成工作。首先打开数据文件，将第一行读出。数据文件的第一行是用来写明基表有多少个维度和度量值，每个维度和度量值的名称分别是什么。getdatafilenum里会根据里面的信息分辨出哪些是维度数据，哪些是度量值，分别有多少个，度量值以何种方式进行聚集操作等，然后把这些数据保存下来。最后是统计整个数据文件有多少条元组。这些操作基本和cubing::loaddata中前面部分的操作相同。 图6.5 dispatchmanager和dispatch中得到的元组条数，计算出每个进程应当接收的元组条数。计算完之后，将这些信息保存在pconfig中。 　　接下来，dispatchmanager便会将pconfig里的数据连同度量值操作方式和文件夹名称