论“数据挖掘”技在矿床禀赋优势价值计量的应用.docVIP

“数据挖掘”技术在矿床禀赋优势价值计量中的应用 北京科技大学 陈希廉 2005年发表 引言 所谓矿床禀赋优势，通俗地、不严密地说就是矿床质量的好坏。根据过去在制定铁矿资源税标准时的经验，衡量矿床质量好坏时出现的难题有三：(1)究竟要考虑哪些因素(即禀赋要素)会影响矿床质量的好坏；(2)按矿床的质量好坏究竟要将矿床分为几个等级更合理；(3)利用综合评判来确定矿床的好坏时权系数该如何取值。对这些问题在研究过程中往往众说纷纭，争议不休。而笔者认为如果应用数据挖掘技术，这些根据主观判断的争议，就可以交给数据挖掘技术中的许多数理统计、模糊数学等数学方法或智能化手段去解决，这样可以更客观地反映实际情况，可以避免主观的争论。 数据挖掘技术概述 1.产生数据挖掘技术的背景----信息爆炸但知识贫乏 自从人类在山洞中绘画和在草纸上写字以来，产生的所有信息大约为18个exabytes，即18后面加18个零。但是不可思议是，仅仅1999年就产生了其中的12％。激增的信息中隐藏着许多重要有价值的信息和知识，但人们往往难以直观地发现它们，人们都希望能够对其进行更高层次的分析，以便更好地利用这些信息。目前的数据库系统可以高效地实现数据的录入、查询、统计等功能，但无法发现信息中隐藏的规律性的关系和规则，无法根据现有的信息来预测未来的发展趋势。缺乏开发信息背后隐藏的知识的手段，导致了“信息爆炸但知识贫乏”的现象。那么怎么能得到这些“知识”呢？ 计算机科学对这个问题给出的最新回答就是：利用“数据挖掘”技术，以便在“信息矿山(数据仓库)”中找到蕴藏的“知识金块”。 正如十九世纪采掘黄金钻石是致富之道一样，如今从大量的数据(Data)中采掘（Mining）宝贵知识已成了财富之源。 2.数据挖掘技术简介 (1)什么是“数据挖掘”技术：所谓“数据挖掘”就是从大量的、不完全的、有噪声的、模糊的、随机的实际信息中，提取隐含在其中的不能靠直觉发现的、但又是潜在有用的、甚至是违背直觉的信息和知识。挖掘出的信息和知识越是出乎意料，就可能越有价值。 为了达到此目的，首先必须通过数据处理从“数据仓库”中，提取有价值的信息，以建立数据挖掘库，以用于存储从数据仓库中所挖掘出来的信息，即经过检验、整理、加工和重新组织的信息。这种系统既可以是传统的关系型数据库管理系统，也可以是专用的多维数据库管理系统(mdbms)。 (2)“数据挖掘”技术处理信息的特点：它具有综合处理结构化数据(即可定量的数据)、非结构化数据和半结构化数据的功能。发现知识的方法可以是数学的，也可以是非数学的；可以是演绎的，也可以是归纳的。发现的知识可以被用于信息管理，查询优化，决策支持和过程控制等。因此，数据挖掘是一门交叉学科，它把人们对数据的应用从低层次的简单查询，提升到从数据中挖掘知识，提供决策支持。 (3)“数据挖掘”技术所采用的分析方法、手段：最常用的是关联分析、人工神经网络、决策树、遗传算法、聚类分析、专家系统等；但必要时，也用到其它各种数理统计、各种运筹学、各种模糊数学等方法，特别是模糊数学与前述各种方法的结合，如模糊聚类分析、具有模糊规则库的专家系统等。有人认为数据挖掘的三个主要技术支柱是：数据仓库、人工智能和数理统计。 (4) “数据挖掘”技术能挖掘什么知识：它可以挖掘的知识有： 广义知识(Generalization)：-广义知识指类别特征的概括性描述知识。它可反映同类事物共同性质，是对数据的概括、精炼和抽象。 关联知识(Association): 它反映一个事件和其他事件之间依赖或关联的知识。如果两项或多项属性之间存在关联，那么其中一项的属性值就可以依据其他属性值进行预测。 分类知识(Classification＆Clustering): 它是反映同类事物共同性质的特征型的知识和不同事物之间的差异型特征的知识。 预测型知识（Prediction）: 它根据历史的和当前的数据去推测未来的数据，也可以认为是以时间为关键属性的关联知识。 5)偏差型知识(Deviation): 它是对差异和极端特例的描述，揭示事物偏离常规的异常现象，如标准类外的特例，数据聚类外的离群值等。 (5)“数据挖掘”技术能建立什么模型：具有通过上述方法以建立综合性的、能揭露事物内在规律的模型的功能。这些模型包括预测模型、优化模型、智能化决策支持模型、技术诊断模型、辨伪模型、合理分类模型等；而且还可以对这些模型进行误差分析、风险分析等。对本研究最有意义的是合理分类模型、预测模型和智能化决策支持模型。 (6)“数据挖掘”技术的可视化功能：它具有可视化表达数据挖掘结果的功能。这种功能能够让综合分析的结果以各种图表方式加以显示，以便使用户对分析结果有更直观的了解。其图形可以有：散点图、曲线图、直方图、扇形图、雷达图以及各种三维图形等