一种QL脚本的解析模块的分析研究.docVIP

一种QL脚本的解析模块的分析研究 　　摘要：作为MapReduce系统的核心组件的脚本解析模块，它是分布式云计算平台实现的基础。该模块的实现是基于脚本编程接口，在此过程中使用的语言是QL（Query Language）。QL脚本通过脚本解析模块实现解析之后，事件执行模块则由参数通过配置事件的方式一一实现。下面就这种脚本语言的实现过程作了详细的分析。 　　关键词：MapReduce；脚本解析；QL；事件配置 　　中图分类号：TP311 文献标识码：A 文章编号：1009-3044（2014）19-4361-03 　　An Analysis of Parsing Module QL Script 　　CHEN Hao 　　（Guangdong Technical College of Water Resources and Electric Engineering， Computer Information Engineering， Guangzhou 510925， China） 　　Abstract：MapReduce system as a core component of the script parsing module， which is the basis for a distributed cloud computing platform implementation. The module is based on the realization scripting interface， the language used in this process is QL （Query Language）. After the QL script by script parsing module for parsing， event execution module configured by the parameters of events come true. The following detailed analysis of the implementation process of this scripting language. 　　Key words：MapReduce； script parsing； QL； event configuration 　　1 QL脚本的设计理念 　　QL脚本在设计方面，充分考虑了与现有数据库查询语言SQL相结合的特点，QL脚本无疑可以被看作是对数据库查询语句SQL的一种转型和衍生。基于对现有技术的可扩展性和覆盖性分析，使用QL脚本来定义关键词的过程能够适应市场上各种网络流量统计的不同类型，当然必须对设计过程中对关键词的灵活扩展性作以充分性的考虑，以便于后期对QL脚本的扩容升级，更好的支撑云计算平台的综合应用。 　　2 QL脚本模块的分析 　　QL脚本模块解析可以分为以下几大模块：解析引擎（ScritEngine）、脚本语句解释器（ScritParser）、比较运算模块（Compare）、算术运算模块（Arithmetic）、逻辑运算模块（ExpressionEngine）、聚合运算模块（Aggregate）、字段运算模块（Field）、配置模块（Configuration）等。图1是QL脚本解析模块的整体结构图。 　　QL脚本解析的实现过程如下：系统的入口为ScriptEngine，它的功能是读取QL语言脚本，并将脚本逐行传递给脚本解析器。脚本解析器按照每行的QL语言脚本首字母对语句进行分类，根据不同语句的类别调用不同的解释模块对语句进行解析。语句解析逐行进行，如脚本中含有子句等其他复杂句型，脚本解析器会调用其他的处理模块，如调用聚合运算模块对脚本进行相应的处理。 　　3 配置文件的定义及解析过程 　　一个完整的QL语言脚本包括配置文件、原始数据文件、输出结果保存位置和统计执行语句。模块在运行时，首先需要对配置文件进行解析以获取数据格式，然后对输入数据和输出数据路径进行解析，最后解析统计执行语句，并将解析的命令传递给作业执行模块。 　　编写QL语言脚本时，首先应指定配置文件，指明要处理的数据格式。配置文件的格式如下：列序号、名称、描述、数据类型。根据配置文件中的格式，系统对输入数据进行匹配，从而对指定列序号的数据进行操作。配置文件支持如下的关键词： 　　表1 配置文件关键词列表[关键字＼功能＼ResetColumn语句＼用于重新载入列配置文件，切换不同的配置文件＼createColumn语句＼用于创建一个新的配置文件，并载入这个配置文件＼AddColumn语句＼对当前的配置文件进行增加列的操作＼] 　　如上表所示，目前配置文件中