基于数据分组方法的数据仓库并行预计算和查询.docVIP

基于数据分组方法的数据仓库并行预计算和查询 论文关键词：数据仓库 并行计算 消息传递接口 商立方体 论文数据仓库的原始数据量超过了T字节级，在单机机器上运行数据量如此庞大的数据仓库是。，并行计算技术数据仓库技术的介入是无法的，并行计算技术为运算能力… 论文关键词：数据仓库 并行计算 消息传递接口 商立方体 论文数据仓库的原始数据量超过了T字节级，在单机机器上运行数据量如此庞大的数据仓库是。，并行计算技术数据仓库技术的介入是无法的，并行计算技术为运算能力和存储能力这数据仓库性能的两大因素了技术基础。本文详细介绍了基于数据分组方法的数据仓库并行预计算和查询的方法，其主要思想是将数据仓库基表中的数据分割，分发到各台计算机上后，并行地对数据预计算，并预计算后，立方体数据存储的分布性，并行地查询。本文介绍了数据仓库和并行计算的概念，并商立方体的特点了基于数据分组方法的数据仓库并行预计算和查询的方法。本文对该方法的了描述，并分析了在刀片服务器上运行后的结果。基于数据分组方法的数据仓库预计算和查询方法的并行策略较简单，但在现实应用中，实验观察和对实验数据的分析，证明了方法是可行的，数据仓库的预计算性能于查询性能都了令人满意的。 章 绪论 计算机应用的普及，人们的社会活动越来越多地依赖于计算机的使用。人类的社会活动，例如商品交易、科学实验都产生了巨大的数据量。长年累月积累下来的数据量极为巨大，看似杂乱无章，里面却隐含着社会科学和自然科学的规律。如何地去数据，从数据中寻找出规律来造福社会，是人们面临的另问题。传统的信息，如数据库，是以单一的数据为中心的事务，它可以让人们在可以的范围内对数据的事务操作，发掘数据中的规律却是无能为力。为此人们发明了新的计算机技术从数据中寻找出其隐含的规律，数据仓库便是的。 、更地用户对数据仓库的查询，需要对原始数据集预计算。预计算将人们会在查询中希望的，将记录依照其某项属性某种聚集操作（和、最大、最小等等）后的结果，预先的计算。便可以查询的响应速度，响应，人们数据仓库的。预计算所产生的数据集合考虑到每条记录的聚合，产生的数据量是原始数据集的数百倍甚至千倍。人们预计算的计算量要求巨大的。 数据仓库的原始数据量超过了TB级，在单台机器上是支持不了数据量如此庞大的数据仓库，，并行计算技术的介入是无法的，它为运算能力和存储能力这两大因素了技术基础。并行计算是唯一能够这么信息的计算技术。 本文将如何把并行计算技术引入到数据仓库的预计算和查询中，并实验来支持做法的性。希望可以为数据仓库的并行技术新的思路。 1.1 本文的是数据仓库并行技术，它使用PI，能够在多种平台上运行，能地立方体预计算加速查询加速。 1.2 本文安排 本文的余下将如下安排： 章是介绍本文的背景，将描述本文中涉及的关于数据仓库和并行计算的概念。 章概括性地介绍了PI，包括PI标准发展史，PI编程中经常使用到的点对点通信原语和通信模式PI程序的结构。 章将介绍商立方体的目的，商立方体的特性，预计算算法查询算法。 第五章描述了基于数据分组方法的数据仓库并行预计算和查询方法的思路与，并对该方法的性做了的证明。 第六章详细描述了并行预计算程序和并行查询程序的与工作流程。 第七章实验测量的数据来说明本文方法的性和预计算和查询性能的。 第八章对本文的工作了总结，说明了本文的主要和的，并为的工作了展望。 章 背景 自计算机发明后，人类文明了前所未高速发展阶段。计算机技术的应用缩短了许多新技术的研发周期，新技术往往意味着更高的生产力、的产品和更低的成本。计算机自身也得益于新技术，越来越多的商业公司和个人可以负担得起计算机的使用费用，计算机逐渐普及。 计算机技术应用的性、性能地，加上互联等革命性技术的，人们开始信息化社会，信息人类社会不可或缺的资源。社会信息化使得社会活动如：商业交易，科学实验，数据统计等所产生的数据急剧地增长，而在巨大，看似杂乱无章的数据中，隐藏着社会活动和自然科学的规律。例如人们的购买习惯、DNA的作用。分析数据，学习的规律成了人们迫切的。，数据的级远远地超过了人脑所能的范围，，人们只能将希望寄托在计算机上。 2.1 数据仓库 面对爆炸性膨胀的数据和提升的应用要求，数据库技术也在地[1][2][3][4][5][6][7][8][9][10][11][12][13][14]下一页 【 着数据库应用的作用和价值。传统的数据库技术主要擅长于以数据为中心，数据库对或一组数据记录查询和修改等的面向、特定应用的服务，它可以响应、数据性和完整性等的要求。传统的事务系统成熟，在企业和组织中应用也，组织的日常事务的信息化，数据分析和决策支持应用成了的