一种基于增量归集的大数据量的数据查询方法.pdf

工程师 笔记 》》 一种基于增量归集的大数据量的数据查询方法 天地（常州）自动化股份有限公司 朱 涛 针对 目前煤矿业务系统 中，由于各种安全生产的相关数据过于庞大，导致在数据前端展示 时导致系统的响应 时间和性能以及用户的体验度较差的问题 ，本文设计 【摘要】 了一种基于增量归集的大数据量的数据查询方法。该方法通过定期把数据增量归集到中间结果表 中的方式，提高 了大数据量查询的性能。应用结果表 明，该系统的设计方 式可提高数据处理速度 ，降低数据存储空间，为查询结果的展示提供 了坚实的数据基础支撑。 增量归集 ；数据查询 ；大数据 ；定期 ；中间结果 【关键词】 引言 增量单元、增量包、增量包的实体结构关系所 BizA的2级从表：A_DetailTable 目前，在煤矿业务系统中，业务数据量非 示。 字段：A_DetailCol1、A_DetailCol2、A_ 常庞大[1]；每次进行业务数据查询或统计时， 在步骤B中，定义调度计划，设置调度 自 DetailCol2、 A_DetailCol3、 A_DetailCol4 持续时间比较长，消耗资源比较大。传统的查 动增量归集的任务，并设置任务执行的频率和 数据类型：String、String、String、 询和统计方式，是直接从业务数据表中进行处 时间周期以及相关的执行策略[5]。 String、String 理，不仅影响应用系统的业务处理性能，而且 在步骤C中，定期执行增量数据归集，它 说明：A_DetailColID为主键 查询和统计性能非常差。 包括以下的步骤： 该实例分解为以下四个步骤： 为了提升查询或统计性能，采用定期将查 根据步骤A中定义的增量捕获规则捕获增 a.设计增量捕获规则；b.设置增量归集调 询结果定期的增量归集到中间数据表的方式， 量数据； 度计划；c.执行增量数据归集d.执行数据统计 在归集查询结果时，由于数据量比较大，为提 把增量数据加载到步骤A (3)中定义的增量 结果查询。 升归集效率，不能采用全量归集的方式，而采 数据表中； (1)定义增量单元，由于BizA包括三个表， 用增量归集的方式来处理。这种方式，每次进 根据步骤A中增量订阅的信息，生成增量 应该定义三个增量单元。 行查询或统计时，只需要从中间数据表中进行 数据同步到查询中间结果表中的存储过程； A_MainTable的增量单元，如下所示： 展现即可，而不需要在查询过程中进行即时计 执行步骤 (3)中创建的存储过程，创建查 属性项：增量编号、增量名称、数据表、 算和归集，大大减少了查询的时间，降低了资 询中间结果表，并把步骤 (1)中捕获的增量数 主键字段、内容字段 源消耗，提高了查询效率。 据同步到查询中间结果表中。 属性值 ：Inc_A_MainTab le、Inc_A_ 1.系统设计 在步骤D中，输入查询统计的条件，从步 MainTabl