断面提交数据的存取算法研究1.doc

基于3D模式下海量数据的快速查询 0问题重述 在各种自动化现场，需要安装大量的测点，以便通过这些测点提交的信息来实现自动化流程的顺利进行。为了保证自动化现场所有设备的正常运行，需要将各测点提交的属性数据（监测结果）及时保存下来，以便于设备维护人员能够快速掌握现场设备的运行情况。一旦自动化现场的某设备出现故障，设备维护人员能够通过查询该设备的监控测点在某个时间段或时间点提交的属性数据来分析设备产生故障的原因。因此，为了及时排除故障和提高自动化的运行效率，设备维护人员需要迅速地查询任何测点在任何时刻提交的属性数据，这对于现场设备故障的及时排除和提高劳动生产力具有十分重要的意义。然而，监控现场设备的测点多，每个测点提交的的信息量大，要从庞大的信息库中快速找到需要的信息是一件非常困难的事情。为此，实现海量属性数据的快速查询是急需解决的问题。 1问题分析 一个自动化现场安装有大量的测点， 通过这些测点的相互作用和相互牵制，从而实现自动化现场设备按照工艺流程以串行或并行的方式进行运行。因此，为保证设备的安全运行，需要将这些监控设备的测点提交的属性数据及时保存起来，在需要的时候能够快速查询任何测点提交的历史记录。然而，属性数据能否快速查询的关键取决于数据的存储方式，不同的存储方式决定了不同的查询方式。因此，为实现大量测点提交的海量数据的快速查询，需要为属性数据构建合理的存储格式，只有在该存储结构的基础上才能实现海量属性数据的快速查询。 属性数据的存储方式不外乎两种，文本方式和二进行制方式。如果为每个测点专门分配一个存储文件，则会由于文件的数量太多而不便于管理，同时在不同文件之间来回切换也非常耗费时间。因此，为方便设备的管理和节省查询时间，需要对测点进行分类。也就是说，需要将众多测点在不同时刻提交的大量属性数据保存在同一个数据文件中，以方便数据的管理和查询。 具体来说，如果所有的测点中存在大量采样周期相同的测点，则可以将这些测点归为一类，从而将所有测点划归为不同的类。将测点按照采样周期分类后，就可以将同一类中的所有测点在不同时刻提交的大量属性数据保存在同一个数据文件中。因此，为方便属性数据的查询，在该数据文件中既要说明属于该类的所有测点，同时又要说明这些测点提交属性数据的起始时刻和采样周期。除了这些参数的设置外，接下来就是属性数据的存放问题。如果数据文件用第一行存放测点的相关信息，那么从第二行开始就应该存放各测点在不同时刻提交的属性数据，故需要为实现快速查询而设计合理的存储结构。 在自动化现场的所有测点中，如果测点的周期一般都是各不相同，则需要根据地理位置将测点进行归类。如果存在众多测点的安装位置比较邻近，就可以将这些测点归为同一类，从而将所有测点划归为若干类。与按照测点周期分类不同，此时由于各测点的采样周期不同，故在同一数据文件中保存同一类测点提交的属性数据时，对于每个测点，都要说明该测点的起始时刻和采样周期。因此，为方便后来的快速查询，需要为这些测点提交的属性数据建立合理的存储结构。由于每个测点都会在每个周期内提交属性数据，使得经过一段时间后，每个测点都会提交大量属性数据。将所有这些测点在不同时刻提交的属性数据保存起来，会占用大量的存储空间，同时也需要考虑后来的快速查询问题。 对于按照采样周期进行分类的测点而言，需要对测点进行编号，以便将不同的测点区分开来，同时满足同一类测点连续编号。如此一来，保存同一类测点提交的属性数据的结构就可以这样安排：（1）第一行存放四个参数：最小测点号、最大测点号、采样的起始时刻和采样周期；（2）从第二行开始存放属性数据；（3）横向依次保存各测点在同一时刻提交的属性数据；（4）纵向保存不同时刻各测点提交的属性数据。为方便后面的叙述，不妨将这种存储结构称之为断面提交。 如果根据测点安装的地理位置进行分类，同样需要对测点编号以示区别，而同类测点为方便查询需要连续编号。对于如此分类的测点而言，其属性数据的存储结构如下：（1）先是保存第1个测点的三个参数：测点号、采样的起始时刻和采样周期；（2）从第二行开始，保存第1个测点在不同时刻提交的属性数据；（3）接着是第2个测点的参数设置和不同时刻属性数据的保存；（4）如此类推，进行其他测点的参数设置和不同时刻属性数据的保存。同样，不妨将这种存储方式称之为批量提交。 在查询某个测点在某个时刻提交的属性数据，首先要找到该测点在哪一个文件中，然后从该文件中根据时间找到该属性数据所在的行和列。因此，无论是断面提交还是批量提交，都是一个三维存储结构。 通过上面的分析，为实现任何测点在任何时刻提交的属性数据查询，需要解决断面提交数据和批量提交数据的快速查询问题。为此，需要深入分析断面提交数据和批量提交数据的存储结构，从中属性数据的存储规律，进而找出快速查询方法。此外，需要通过分析比较找出