数据库通用设计思路浅析.pptVIP

数据库通用设计思路浅析 Alexyang 无线产品部开发组提纲 体系结构 系统实现的关键技术 体系结构 服务器核心系统总体结构 线索主要有 控制台线索 工作线索 I/O线索 会话线索 连接监听线索 日志线索 检查点线索 备份线索 工作线程工作流程 会话线程 处于死循环中，保持接收客户请求，放入系统任务队列，由工作线索取出执行。 连接监听线索 创建结构地址和socket，进行两者的绑定，开始监听。不断检查是否有客户端的连接请求，若有则将它放入客户端队列，继续检查是否有新的客户端来的请求。 控制台线索 当数据库用console启动时，有些数据库是支持在该console下输入命令以得到相关信息，比如锁信息等等。 日志线索 进行日志的刷盘操作。 系统实现的关键技术 服务器主要模块 通讯子系统 语言分析器 查询优化器 解释执行器 系统缓冲区管理子系统 并发控制/封锁子系统 事务管理子系统 日志管理模块 备份和恢复模块 物理存储模块 语法/词法分析 负责解析SQL命令和过程性语句块 过滤注释,解析参数 使用成熟的工具（如YACC/LEX ）生成 灵活的语法规则定义 便于语法的扩展与修改 生成统一格式的语法树 举例 from_tv_list : from_tv { $$ = (par_from_tv_list_t *)new_node(PAR_FROM_TV_LIST,1); $$-un_1.from_tv_list_1.from_tv = $1; } | from_tv , from_tv_list { $$ = (par_from_tv_list_t *)new_node(PAR_FROM_TV_LIST,2); $$-un_1.from_tv_list_2.from_tv_list = $3; $$-un_1.from_tv_list_2.from_tv = $1; }; struct par_from_tv_list_struct { ulint par_type; //值为PAR_FROM_TV_LIST：1134 ulint par_tag; //1：规则1；2：规则2 ulint par_lineno; union { struct { par_from_tv_t *from_tv; //$1 }from_tv_list_1; //规则1 struct { par_from_tv_t* from_tv; //$1 par_from_tv_list_t* from_tv_list; //$3 }from_tv_list_2; //规则2 }un_1; }; 对应的语法结构 语义分析 数据库对象名字解析 合法性检查 内部ID的转换 权限检查 语法树数据结构的简化与预处理 DDL语句分解为对系统表的DML 视图对象的替换等 代价优化器 接受语义分析的输入 统计信息的分析 数据分布 统计直方图 代价的计算 基于统计信息 操作符号的选择 基于成本的最优执行路径选择 生成优化的执行计划 基于操作符的执行计划 物理操作符 功能简单专一,完成特定的数据库操作 如:连接,过滤,排序等 执行计划 操作符的组合,构成树型的执行计划 执行时,数据从叶子向根流动 在根汇集成结果集,或者得到结果状态 计划被自动缓存,以备重用 执行计划1 执行计划2 系统缓冲区管理子系统 内存池：使用伙伴系统管理内存。 内存堆：多次申请一次释放，提升了内存使用效率，同时也很好地解决了内存泄漏的问题。 数据缓冲区：采用LRU提高命中率，提升I/O性能。 日志缓冲区：集中写入，提升性能。 事务和线程的分离 事务对应于用户连接/会话(SESSION) 每个连接，有一个活动的事务 工作线程是共享资源 一组工作线程，协同工作，为所有的事务服务 数据库对象的封锁失败，导致事务暂停，却不会阻塞工作线程 提高CPU的利用率 事务和线程的分离 事务对应于用户连接/会话(SESSION) 每个连接，有一个活动的事务 工作线程是共享资源 一组工作线程，协同工作，为所有的事务服务 数据库对象的封锁失败，导致事务暂停，却不会阻塞工作线程 提高CPU的利用率 数据库锁和线程锁 数据库锁 针对数据库对象 用户可干预 锁定失败,导致事