数据挖掘技术的研究应用综述.pdfVIP

数据挖掘技术的研究应用综述 1 2 2 张雪松 毛云龙 檀竹南 （1 中国石油大学（北京） 北京昌平 102249；2 北京雅丹石油技术开发有限公司 北京昌 平 102200；） 摘要 随着计算机技术的飞速发展，各类信息的数据量迅速增长，要从这些海量的、以不 同形式存储的数据资料中发现有价值的信息或知识已成为当前数据挖掘技术的一项艰巨任 务。本文总结并评价了国内外数据挖掘技术的发展现状，对各个领域的数据挖掘技术应用进 行了系统的评价与综述。 关键字 数据挖掘 技术现状 石油工程 研究应用 1. 前言 数据挖掘 (Data Mining)，又称为数据库中的知识发现 (Knowledge Discovery in Database, KDD)，是从大量数据中获取有效、新颖、潜在有用且最终可理解的模式的非平凡 过程。简单的说，数据挖掘是从大量历史数据中寻找其规律的技术，是统计学、数据库和人 工智能技术的综合。 2. 数据挖掘技术研究现状 2.1 国外研究现状 国际KDD(知识发现)组委会于 1995年在加拿大蒙特利尔市召开了第一届KDD 国际学术 会议，每年召开一次。近年来，KDD在研究和应用方面发展很快，尤其是在商业和银行领域 的应用速度更是迅速。 目前，国外数据挖掘的研究方向及趋势主要是对数据挖掘方法研究的进一步发展，如 Bayes(贝叶斯)方法以及Boosting方法的研究和提高；传统的统计学回归法在KDD中的应用； KDD 与数据库的紧密结合等[1]。 2.2 国内研究现状 与国外相比，国内对数据挖掘的研究起步稍晚且不成熟。最新发展有:分类技术研究中, 试图建立其集合理论体系,实现海量数据处理；以粗糙集和模糊集理论为基础,将二者融合用 于知识发现，构造模糊系统知识模型与模糊系统辨识方法,构造智能专家系统；研究中文文 本挖掘的理论模型与实现技术；利用概念格进行文本挖掘。 目前，国内的数据挖掘技术主要应用在农业，金融及 Web等领域，而在作为现代化生产 主力的工业部门应用却不多，只在电力部门火力发电方向有一些系统的应用，其他领域只有 少数零散的应用。可以说数据挖掘技术在我国还有很大的发展潜力。 3. 数据挖掘技术常见的方法 数据挖掘技术常见的技术主要有以下六种： (1)关联分析：在大型数据集中发现项之间感兴趣的关联关系。 (2)决策树方法：以树型结构表示分类或决策集合，产生规则和发现规律，寻找数据库 中具有最大信息量的字段，建立决策树的一个人工只能和识别技术。 (3)神经网络方法：由大量的简单神经元，通过极其丰富和完善的连接构成自适应非线 性动态系统，具有分布存储、联想记忆、大规模并行处理、自组织、自学习、自适应等功能。 (4)粗集方法：在数据库中视行为对象列为元素，定义等价关系 R 为不同对象在某个(或 几个)属性上取值相同,满足 R 的对象组成的集合称为其等价类。 (5)聚类方法：将数据对象分组成为多个簇，在同一个簇中的对象具有较高的相似度。 (6)遗传算法：模拟生物进化过程，由繁殖、交叉、变异三个基本算子组成。可起到产 生优良后代的作用，经过若干代的遗传,将得到满足要求的后代[2]。 4. 数据挖掘技术在各个领域的应用 4.1 数据挖掘在农业的应用 农业是国民经济的最基础部门。全国土壤的数据普查、各种农作物的苗情、土情等方面 都存在着大量的数据处理。只有以大量的动态市场信息了解农作物的生产规划，才能使我国 农业的发展更加健康合理。 气象预报是农业最重要的技术之一，它通过各种参数数据进行处理监测参数值是否正 常，为农业提供气象信息服务和可靠的科学依据。在农业市场信息中，数据挖掘技术以市场 监控信息为数据库，以进出口贸易仓库数据为数据源，从而提供可信信息。关联分析、技术 统计可用来预测农产品的价格走势；聚类分析可简化问题，例如：在条件允许的情况下把水 产与肉、蛋与油合为一类，使得数据更加简单；孤立点分析则可以找出罕见事件、灾情、金 融事件及进出口方面存在的问题，对农业市场有很强的指导性。 4.2 数据挖掘在金融业的应用 金融领域