存储引擎和查询引擎.doc

存储引擎和查询引擎 存储引擎和查询引擎2011-01-17 11：28 SQLSERVER是C/S产品，所以一条SQL语句要让SQLSERVER执行，必须要传输到SQLSERVER服务器端。传输，我们当然知道需要NetBEUI、TCP/IP等等网络传输协议。但是光有这些还不行。客户端如何发，服务器端如何收，如何确认发的和收的正确完整，如何确实发的和收的已经结束，如何发和收能跨越各种网络协议(如UNIX和WINDOWS和NOVELL通讯)，如何保证数据安全校验，如何保证数据收发是同步还是异步，就需要在网络传输协议之上再构造一层协议。SQLSERVER既支持IPC机制，也支持RPC机制。你想想你的管理软件开发平台是否有这一层。当然，现在的消息服务器已经专业的提供了这一机理，可靠的、安全的、高效的、异步的、消息压缩、消息拆分、智能路由、集群，跨越不同的操作系统、不同的编程语言、不同的通讯协议、不同的硬件平台的消息数据传输。可能你过去不了解消息中间件，通过这一案例可以知道消息中间件的用途。 SQL语句被可靠无误的发送到了服务器端，SQLSERVER引擎中第一个模块就来接待这个SQL数据。这个模块的名字叫：Open Data Services。它监听新的连接；清除失败连接；将结果集、消息和状态返回给客户端。 SQLSERVER客户端和服务器端之间传输数据，数据包是有格式的。在SQLSERVER中被称为tabular data stream。这个数据流是令牌控制客户端和服务器端对话(否则，客户端说了N句话，服务器端返回N句话，没有令牌就混在一起了，不知道哪个回答是对应哪个请求的)。我们往往不能直接和Open Data Services打交道，把数据放进来。而是我们必须通过ODBC、ADO或DB-Library来发送tabular data stream。而SQLSERVER返回的数据结果，也是通过这些ODBC之类发回tabular data stream。你看看SQLSERVER设计的多巧妙，一个通用数据访问接口屏蔽了你和SQLSERVER之间，就如同WINDOWS API屏蔽了内核让你无法访问，就如同DirectX屏蔽了UI和外设的操控。 SQL语句-ODBC-编码成tabular data stream-IPC或RPC-网络协议-IPC或RPC-解码tabular data stream-ODBC-Open Data Services。 Open Data Services监测客户端连接。如果并发太多，它会创建连接，如果服务完，它会自己维护连接归入池中。在池中保留一段生命期，它会自己释放连接。如果有的客户端连接中途突然断掉(如客户端重启了)，它在侦听后无回应，它也会自己整理自己的连接的。我们在SQLSERVER线程中看到的连接，就是Open Data Services创建的。 Open Data Services有了连接(可能是创建的可能是从池里拿出来的，池化、创建、销毁都是非常讲究技能的。池化多少，上下文资源如何保留，池化多长时间，什么时候该销毁，调度不当就会严重消耗资源)，就把SQL接住。这时，是接到了Open Data Services的读缓冲区里面。这个缓冲区为高性能处理数据的SQLSERVER带来一丝喘息机会，而就这一丝喘息机会，让SQLSERVER可以游刃有余(你的设计有吗?)。而Open Data Services有一个写缓冲区。SQLSERVER把检索到的数据，检索出来就立即放进写缓冲区，写缓冲区一满就立即被Open Data Service发走。当我过去研究SQLSERVER原理的时候，我常常赞叹，一个小小的SQLSERVER外围模块都设计如此精妙，实在让人佩服。我们经常在追求海量数据存储和Cache架构，我们却无视我们手边的SQLSERVER。 SQL语句放到读缓冲区，SQLSERVER的关系引擎就开始工作了。它总是在侦听这个读缓冲区。 SQL语句遇到的关系引擎的第一个模块就是命令分析器。我们在SQL查询分析器中看到的查询分析结果就是它的输出杰作。它来构造查询树。首先是将你的SQL语句规范化(你想想你写的软件代码，输入数据来了什么都不管就直接处理，连输入数据校验都没有，怎能稳定)，否则以后的步骤将不好操作，如果你的SQL语句有语法错误，这个查询树的构造就无法完成，于是中断。而要规范一个SQL语句，首先要从SQL语法库中抽取SQLSERVER现有支持的各种语法和函数。 一旦构造成功，关系引擎的第二个模块就是命令优化器，来裁剪这棵树。一个SQL语句可以生成多种执行和优化的方案(如果你使用过那种SQL优化工具的话，你就能理解)，SQLSERVER会选择最节省内存、CPU利用率、I/O次数(I/O是性能优化最要命的地方，