大数据统一SQL引擎研究与设计.docx

?

?

大数据统一SQL引擎研究与设计

?

?

丁岩杨万祥汪清杨乐胡晓

【摘要】大数据统一SQL引擎不管是从现实要求，还是从大数据应用方面来讲，都值得深入研究，目前大数据生态系统中的不同SQL引擎都有各自适合的应用场景，性能指标也不相同，很难选择一种SQL引擎覆盖所有的应用需求。本文提出了大数据统一SQL引擎方案，集成多个SQL引擎，并提供统一的访问接口，用户可以根据需要灵活选用相应的SQL执行引擎，解决传统应用如何快速移植到大数据平台以及多个大数据SQL引擎选型难的问题。

【关键词】大数据;统一SQL引擎;集成;访问接口

：TP311.13：A：2095-2457（2019）29-0001-004

DOI：10.19694/ki.issn2095-2457.2019.29.001

ResearchandDesignforBigDataSQLEngine

DINGYan1YANGWan-xiang1WANGQing2YANGLe2HUXiao1

（1.ResearchInstituteofCloudComputing，NanjingZTENewSoftwareCo.Ltd，

NanjingJiangsu210012，China;

2.InformationCenterofScienceandTechnology，NanjingCityPublicSecurityBureau，

NanjingJiangsu210012，China）

【Abstract】UnifiedSQLengineofbigdataisworthytobeexploredindepth，whetherfromthepracticalrequests，orfromthebigdataapplicationaspects.Inthecurrentbigdataecosystem，differentSQLengineshaveownapplicationscenarios，theirperformanceisalsonotthesame，soitisdifficulttochooseonekindofSQLenginestocoverallapplicationrequirements.ThispaperpresentsanunifiedschemeofSQLengineforbigdata，whichintegratesmultiplekindsofSQLenginesandprovidesunifiedaccessinterfaces.ItallowsuserschoosethecorrespondingSQLengineflexibly，tosolvetheproblemofhowtoquicklymigratetraditionalapplicationstobigdataplatformandhowtoselecttheavailableSQLengine.

【Keywords】Bigdata;SQLengine;Integrate;Accessinterface

0引言

目前大數据技术发展及应用越来越成熟[1-4]，从工程或者技术的角度来看，大数据的核心是如何存储[5]、分析、挖掘海量[6]的数据来解决实际的问题。对于一个工程师或者分析师来说，如何查询和分析TB/PB级别的数据是在大数据时代不可回避的问题，所以基于大数据的SQL引擎成了大数据应用的重要手段[7-8]。

但对于传统的基于SQL实现的应用如何快速移植到大数据平台上来以及在现有的多个SQL引擎间如何进行选型是个难题。

1大数据统一SQL引擎相关技术研究

1.1背景介绍

大数据可以说无所不在，社交媒体、传感设备、机器生成的信息、手持终端设备产生的信息等等，这些“新数据”有相当一大部分都是非结构化的，而且产生速度非常快，是大数据的一个重要部分。通过这些数据的分析，可以更加全面的了解用户的心理、习惯、喜好等等，从而为提供更好的产品和服务。但是也不要忽略了，其实对于很多企业来说，有一些传统的关系型数据可能会是他们更加关心的。比如曾经存储在企业数据库、商业智能应用等中的历史数据，企业为了保证在线平台的实时查询，不得不将这些数据导出来。但这些庞大的历史数据中潜藏着巨大的价值，例如公安交警部门可以通过对车辆过车数据几月、几年的分析，从而分析出交通的拥堵情况、哪些线路需要优化等等。这些