第二届“中国软件杯大学生软件设计大赛比赛题目二：基于二维数据的快速存贮和查询方法.docVIP

比赛题目二：基于二维数据的快速存贮和查询方法 2013-01-30 16:10:28来源: 作者: 【大 中 小】 浏览:3054次 第二届“中国软件杯”大学生软件设计大赛赛题基于二维数据的快速存贮和查询方法 赛题简介：介绍整个赛题的思路和整体要求 无论是传统的关系数据库、内存数据库，还是实时系统中常用的实时数据库，又或是目前流行的NoSQL数据库，索引都是非常重要的数据结构。常见的索引结构 有HASH表，AVL树，红黑树，b树，b+树，t树，r树等,这些树通过对现有的数据结构添加索引信息，以达到快速查询的目的。 在数据库中，可以利用索引快速访问数据库表中的特定信息。索引是对数据库表中一个或多个列的值进行排序的结构。比如，想按特定职员的姓来查找他/她，相比于在表中搜索所有的行，对姓建立专门的索引可以极大的提升查询效率。索引提供指针以指向存储在表中指定列的数据值，然后根据指定的排序次序排列这些指针。数据库使用索引的方式与使用书的目录很相似：通过搜索索引找到特定的值，然后跟随指针到达包含该值的行。 赛题业务场景：描述赛题相关的真实企业业务背景。从真实场景中，适当简化或者提炼出适合比赛的赛题场景 二维数据主要来自于一类按照时间周期返回数据的传感器，这类传感器会被安装在需要实时监测的设备上，比如仪表盘、锅炉等，通过传感器传回监测设备的属性数 据，比如某一时刻的温度、锅炉的压力等，系统可以完整的记录下设备的整个运行状况，在设备出现问题时可以通过历史记录进行问题分析和问题定位。当前的应用 发展趋势表明，被监测个体的数目正在迅速增长，同时随着技术的进步以及应用的需求，数据回传的周期也越来越短。本题对设备数据做如下定义： struct Data { long long time; float value; } 其中time代表位于采集器数据采集时的绝对时间，value表示在采集时刻采集器采集到的属性数据，因此同一采集器一组按时序排列的Data可以看做是 一个设备在一段时间内的运行状况。这样不同设备的的time和value的序列组合成为如下所示的二维表结构：点名 time 1 time 2 time 3 …… time N Point1 value1 value2 value3 …… valueN Point2 value1 value2 value3 …… valueN Point3 value1 value2 value3 …… valueN …… value1 value2 value3 …… valueN PointN value1 value2 value3 …… valueN  题目要求实现一套针对多个监测设备的采集数据的存储和查询算法，在保证数据能够高速存储到磁盘的同时，对这些磁盘上的数据，能够分别进行按时间维度或者 测点维度的查询，如查询一个Point一段时间内的所有数据，或者查询某个时刻所有Point的数据，不同纬度的查询都有较高的查询速率。  功能性需求 假设存在10000个监测设备，对每个设备使用随机数方式生产10000个属性数据,每个设备时间间隔固定,不同设备时间间隔不一样，针对这些数据实现二维数据的存储和查询设计。随机生成属性数据时同步记录原始数据,数据存储完成后采用单设备一段时间内数据查询与批量设备某一时刻数据查询两种方式进行查询操作,关闭程序后重新启动 每个设备再次进行2000个随机属性数据写入，完成后在新的数据前提下再进行一轮数据查询，将查询结果写入文件并与原始文件进行比较，做数据正确性验证。记录数据写入时间和查询时间，计算插值效率，计算公式为：写入效率= 写入数据总量(数据条数)/写入时间查询效率= 查询数据总量(数据条数)/查询时间 准备数据、写查询结果文件等时间不计算在内 非功能性需求 在实际场景中,内存和磁盘在容量上存在较大差距,因此要求降低索引之间的耦合度,内存索引和磁盘索引能够实现快速切换，在较小内存情况下也可以正常工作。降低数据和索引的耦合度，索引和数据分开存储。持久化产生的文件统一放在与应用程序同一目录下的Data文件夹内（程序自行建立），对于持久化所产生的文件名称和文件个数不做要求。在接口不变的情况下，不要求但可以在内部使用多线程或异步io来提高效率，也可尝试其他方式提升速度。可以增加接口与类。首先考虑效率问题，效率相同的情况下持久化文件越小越好。所有数据文件使用本地磁盘存储,参赛者禁止使用现有数据库产品。 其他限制条件：开发环境、实验平台、开发语言、数据库、编译器等限制条件 代码采用c++