数据挖掘理论在数据采集中应用.docVIP

数据挖掘理论在数据采集中应用 　　摘 要 在社会经济和测绘地理信息技术发展的潮流下，做好我国测绘地理信息事业，推动我国经济又好又快的发展，就显得尤为重要。而如何将数据挖掘理论和数据采集有效的结合起来，意义更是重大。做好地理国情的监测，是我国未来20年测绘地理信息工作的重要主题。而数据的采集工作，是测绘地理信息工作基础。为了能将数据能转化成我们所需要的信息，我们可以通过“数据挖掘”理论，进行分析和运用。下面我就数据挖掘理论在数据采集中的应用展开初步的探索和论述。 　　关键词 数据挖掘；数据采集；应用 　　中图分类号TP392 文献标识码A 文章编号 1674-6708（2013）102-0222-02 　　所谓数据挖掘，就是将那些隐含的在数据中的、不能先知以及包含潜在价值的大量信息，从数据中提炼出来以供技术人员参考分析。通过数据挖掘理论所得到的信息，可以为地理信息的测绘提供依据，并且还具有预测和决策的功能。为了能够得到更加精确的信息，我们建立了数据采集平台。数据采集平台侧重于数据的收集，将大量的数据进行有效的汇总，使之转化成有助于测绘地理信息管理和决策的有效信息。我们在实际工作中，常常可以看到，由于对数据没有进行系统科学的分析，使得一些潜在的威胁留在了我们要做的工程中，甚至会为此丧失掉很多利益。如果我们不能够尽力把威胁清除掉，后果可能不堪设想，数据表面，看不出东西（即其隐藏的信息量），绝对是关键所在。因此，我们不仅要做好数据采集工作，更要有效的利用好数据挖掘理论，做好数据分析工作，充分挖掘出这些数据背后所带来的意义。 　　1数据挖掘的功能 　　在测绘地理信息技术领域，数据挖掘理论能够将采集的数据转化为我们需要的知识。下面就数据挖掘的功能，并结合其在数据采集中的运用，我概括了几点，主要功能有以下几点：1）聚类功能。即按照数据内在的规则，把数据聚合分类；2）关联分析功能。关联分析是从数据库中发现知识的一类重要方法。当建立在多次检测的基础上的某两个或多个数据之间算出来的数据相似，差异极小的时候， 那么我们就说这些事件之间存在着某种关联， 能???建立起这些关联项的关联规则；3）分类功能。将不同数据按照不同的分类标准进行分类组合；4）偏差检测功能。对那些不常见，极端的特例进行归档分析， 并揭示其发生偏差的原因，以便以后好做调整；5）预测功能。通过数据信息所显示的一些潜在的知识，我们能够做好对未来测绘数据的预测。实践证明，事物的联系是普遍存在的，即数据挖掘的各项功能协调组合，以便发挥更大的作用。数据挖掘通过对数据的总结、分类、聚类和关联等分析， 对采集的数据进行深层次的剖析，把那些潜在的东西给挖掘出来，便于技术人员的管理与预测。 　　2 “数据挖掘”理论在数据采集平台上的应用基础 　　2.1数据采集平台的建立 　　由于科技发展的需要，数据采集平台应势而生。数据采集平台，是一个拥有大量数据的数据库。据最新的统计数据显示，整个平台采集一次便可产生多达50万以上的数据量。数据采集平台最大的作用就是能够产生巨大的数据。 　　我们知道数据本身就是数据而已，不能够得到对我们有帮助的东西。而数据挖掘理论，基于相应的知识，做出极具准确性的预测性，能够把单纯的数据，通过总结、分类、聚类、偏差检测和关联等功能可以把那些分散在数据库里面的各种数据，进行综合分析整合。数据挖掘理论，是以对数据的分析作为基础的，其功能与分析方法对数据采集平台管理和运用，有着不可估量的作用和意义。 　　2.2“数据挖掘”理论应用基础 　　由于科技的不断发展，数据库不断充实，数据采集平台也在不断的完善和发展中。在国家政策，和科技不断发展的趋势下，数据采集平台近几年来，其结构和采集信息量上也发生了翻天覆地的改变。主要表现在版本、汇总部分字段以及采集字段上。即：版本不断的更新，由原先的“08c版”一直发展到现在的“10a001版”； 汇总部分字段和采集字段的增加，使得数据库里的数据成海量的增长，甚至多达数十万。这样使得数据采集平台更加规模化，同时也加强了数据与数据之间的联系，这也使得采集的数据成了 “数据挖掘”的数据基础，给了“数据挖掘”一个更好的平台。也为技术人员运用数据挖掘理论提供了数据来源。 　　3 “数据挖掘”理论在数据采集平台上的实际应用 　　在上面我笼统的介绍了数据挖掘的基本功能，即分类、估计、关联、聚类、偏差检测和预测。在这里我具体的介绍一下“关联规则挖掘” 理论。通过“关联规则挖掘”理论，我们知道，如果仅仅是单独、孤立的数据，那是形成不了重要信息的，但是，如果我们将那些相互关联的数据集中起来，并从不同的角度，不同的方面去分析这些数据，那么潜伏在这些数据表面以下的部分就会浮出表面，这样我们就能看到事物的全部。这对我们做决策有着重要的意义。所以我们