分布式环境下大规模维表关联技术优化.docx

随着互联网的发展和普及,网络中每天产生的数据量在迅速增加。传统的数据处理方式已经无法面对当前的数据规模,为了获取这些海量的数据中潜在的价值[1],开发者们提出了大数据处理技术[2]。随着大数据处理技术的不断发展和计算需求的不断更迭,到现在为止大数据处理技术已经经历了三代计算引擎的变化。第一代大数据计算引擎以Apache Hadoop[3]为代表,利用MapReduce[4]进行大数据处理。这一代计算的显著特点基于物理存储的计算模式[5]。这类计算有着非常高的吞吐量,但由于每一步的计算操作都要写入到物理存储中,基于内存的计算速度与磁盘的I/O开销的不匹配导致了非常高的处理延迟。这一代计算引擎适合