MySQL · 源码分析 · 词法分析和其性能优化.docxVIP

MySQL · 源码分析 · 词法分析及其性能优化本文章来自于阿里云云栖社区摘要：?Table of Contents 1. 简介 2. 背景知识 3. 查找树的实现 3.1. 树的查找 3.2. 树的产生 4. 试试折半查找 5. 总结简介 MySQL 支持标准的 SQL 语言，具体实现的时候必然要涉及到词法分析和语法分析。早期的程序可能会优先考虑手工实现词法分析和语法分析，现在大多数场合下都会采用工具来简化实现。MySQL、PostgreSQL等Table of Contents1. 简介2. 背景知识3. 查找树的实现3.1. 树的查找3.2. 树的产生4. 试试折半查找5. 总结简介MySQL 支持标准的 SQL 语言，具体实现的时候必然要涉及到词法分析和语法分析。早期的程序可能会优先考虑手工实现词法分析和语法分析，现在大多数场合下都会采用工具来简化实现。MySQL、PostgreSQL等采用 C/C++ 实现的开源数据库采用的是现代的yacc/lex组合，也就是 GNU bison/flex。其他比较流行的工具还有 ANTLR、JavaCC等等。这些工具大多采用扩展的 BNF 语法，并支持很多定制化选项，使得语法比较容易维护和实现。MySQL 语法分析器的入口函数是MYSQLparse()，词法分析器的入口函数为MYSQLlex()。不过，MySQL 的词法分析器是手工打造的，并且为了提高关键字的查找效率做了针对性的优化。这个博客上有点介绍，建议在阅读代码之前先了解一下。背景知识MySQL 的语法分析器采用的工具是 bison，对应的语法文件是sql/sql_yacc.yy。bison 处理语法文件的输出是 sql/sql_yacc.cc 和sql/sql_yacc.h。对应的sql/CMakeLists.txt 中有相关的 make 规则：INCLUDE(${CMAKE_SOURCE_DIR}/cmake/bison.cmake)RUN_BISON( ${CMAKE_CURRENT_SOURCE_DIR}/sql_yacc.yy ${CMAKE_CURRENT_BINARY_DIR}/sql_yacc.cc ${CMAKE_CURRENT_BINARY_DIR}/sql_yacc.h)实际在 make 的时候，这个过程比较复杂。也可以单独 make 词法语法分析的部分，例如：$ make -C sqlgen_lex_token阅读代码的时候，可以查找MYSQLparse，以找到语法分析的代码路径。下面是清除掉生成的yacc代码再查找的结果：$ make -C sql clean$ grep --color=auto -rwInMYSQLparsesql/sql/sql_parse.cc:6748:extern intMYSQLparse(class THD *thd); // from sql_yacc.ccsql/sql_parse.cc:6752: This is a wrapper of MYSQLparse(). All the code should call parse_sql()sql/sql_parse.cc:6753: instead of MYSQLparse().sql/sql_parse.cc:6858: boolmysql_parse_status= MYSQLparse(thd) != 0;sql/sql_parse.cc:6917: Check that if MYSQLparse() failed either thd-is_error() is set, or ansql/sql_lex.cc:3442: parser before returning an error from MYSQLparse. If yourMySQL 手工打造的词法分析器对应的源代码文件是sql/sql_lex.h和 sql/sql_lex.cc。词法分析的入口函数是MYSQLlex()。解析出一个 token 的函数为lex_one_token()。词法分析出来的每个 token 都会对应一个语法分析器中的终结符，它们的字符串表示在sql/lex.h中。这些符号被分为两组，SQL 关键字以及 SQL 函数，在代码中对应数组 symbols[] 和sql_functions[]。通常而言，在语法/词法分析过程中为了判断某个 token 是否为 SQL 的关键字，可以直接二分查找字符串数组。考虑到关键字列表是固定的一个集合，MySQL 对此作了专门的优化，用Trie树来进一步提高效率。下一节介绍这部分代码的实现。查找树的实现查找树的产生用的是一个独立的小程序gen_lex_hash[.