如何使用《DB 查询分析器》高效地生成旬报货运量数据.doc

如何使用《DB 查询分析器》高效地生成旬报货运量数据 马根峰 ( 广东联合电子服务股份有限公司, 广州 510300) 引言 中国本土程序员马根峰（CSDN专访马根峰：海量数据处理与分析大师的中国本土程序员 ）推出的个人作品----万能数据库查询分析器，中文版本《DB 查询分析器》、英文版本《DB Query Analyzer》。它具有强大的功能、友好的操作界面、良好的操作性、跨越各种数据库平台乃至于EXCEL和文本文件。 你可以通过它 ① 查询ODBC数据源（包括世面上所有的数据库、TXT/CSV文件、EXCEL文件）的数据。② 你可以同时执行多条DML语句乃至存贮过程，结果会以你设定的表格、文本框、文件来返回； ③ 从数据库导出千万条数据时，效率与DBMS没有什么区别；④ 具有强大的 SQL “执行计划”功能，你只要将“工具-(选项”窗口中的选项“SQL执行计划连接自动恢复”设置为“选中”状态，那么即使在“SQL执行计划”期间数据库服务器宕过机，只要在“SQL执行计划”的时刻数据库服务器是处理启动状态，那么“SQL执行计划”都会被执行； ⑤ 6．03版本已经完全兼容任何Microsoft的Windows操作系统系列，包括Windows 10、Windows 8、Windows 7、Windows Vista、Windows 2003、Windows XP、Windows 2000、Windows NT、Windows ME、Windows 9X，可以直接在Windows操作系统上运行，而不需要更改任何操作系统的任何设置或者配置。 《DB?查询分析器》在中关村在线?下载量超过11万?次，位居整个数据库类排行榜中前10位。 在《程序员》2007第2期的“新产品工具点评”部分，编辑“特别推荐”了“万能数据库查询分析器”发布。 本人还撰写了关于“万能数据库查询分析器”有关技术中文、英文的85篇文章，发布在《电脑编程技巧与维护》、《软件》、《计算机时代》、《电脑编程技巧与维护》、百度文库、CSDN资源、和本人的四大博客上（CSDN博客、新浪博客、QQ空间和搜狐博客上）。 本文将以中文版本《DB 查询分析器》6.04版本为例，详细介绍 如何使用它的执行计划功能，来组装起来各个算法脚本，来高效地生成交通部复杂的旬报货运量数据。 2 交通部旬报货运量数据的样式 了解数据处理业务的人士一眼就可以看出，这个表样意味着什么？ 这是一份逻辑非常复杂的数据集合，所以在北京开会期间，才会有本人对广东省交通厅的领导说“我们广东的数据量太大了，不能用一般的算法来处理，我们有更好的算法”。 对于广东这个全国经济的排头兵来说，各项经济指标、各个行业的央企在广东的业务收入基本都占据了全国的六分之一左右，广东省高速公路每个月的通车车次数占的比重比这个平均值还要大些。 “数据量小的话，什么算法都行”，但一旦数据量上了海量级，用一般的算法你根本无法处理。举个例子，向小型机数据库中插入2千万条出口流水记录需要2个小时左右（出口流水表的列较多），这还要看小型机的配置、小型机的负载情况，但如果是近3亿条记录呢？可能一天都完成不了这一项任务。 3 本人设计的算法及处理步骤 本人在进行海量数据处理的时候，采取了“化整为零”的处理措施，即将大任务进行分解，设计出单独计算“本旬货运量数据”、“去年同旬货运量数据”、“月初至本旬货运量数据”、“去年月初至同旬货运量数据”、“新增收费站”这5大计算模块，也是非常耗时的部分。 接下来，就可以使用《DB 查询分析器》的“执行计划”功能，自动生成“执行结果.csv”文件。 总体操作步骤如下（提前建立好每月的1号、11号、21号的以下两个步骤的执行计划）： 第一步可以使用《DB 查询分析器》在5个窗口中分别建立 “执行计划”，来定时生成5个中间数据文本文件。 第二步就是，使用《DB 查询分析器》建立ODBC数据源，并且建立“执行计划”，直接处理 文本文件，来定时生成最终的旬报数据项，用户可以只需在上班时打开“执行结果.csv”，将数据粘贴到旬报文件中即可。 图1 旬报任务的算法分解 备注： 因“省界站”的处理非常简单就不再说明。 下面以“新增收费站”、“本旬货运量数据”的处理为例，介绍一下数据处理过程。 3.1 新增收费站的运算处理 因为每个月的通行流水约1.2亿条，而新增收费站的定义是“自本月初至本旬发生通车的收费站与去年同月发生通车的收费站”，所以最大数据量的处理是第3旬时新增的收费站的处理，就是本月同去年同月份新增的收费站，就是1.2亿条记录与1.2亿条记录中的布尔代数运算。 图2 使用“执行计划”功能设定时间，来执行“新增收费站的计算” 这样，