数据挖掘技术在化工优化中应用.pdfVIP

第 32 卷第 4 期 　 　江 苏 化 工　 　 Vol. 32 No. 4 2004 年 8 月 　　　　　　　　　　　　　　　　 　 　　　　　　　　　　 　　　　　　　　 Jiangsu Chemical Industry 　Aug. 2004 专 题 论 述 数据挖掘技术在化工优化中的应用 杨善升 ,陆文聪 ,陈念贻① (上海大学理学院化学系 ,上海 200436) 摘要 :简要介绍了数据挖掘基本概念和发展现状 ,综述了数据挖掘的任务、数据挖掘的常用方法和技术 ,重点介绍 了数据挖掘在化学工业优化中的应用 ,对数据挖掘在化学工业优化应用中面临的挑战进行了总结 ,并对其发展趋 势进行了预测。 关键词 :数据挖掘 ;知识发现 ;化学工业 ;优化 ( ) 中图分类号:TQ 015. 9 　　文献标识码 :A 　　文章编号 :1002 - 1116 2004 04 - 0001 - 04 　　化工生产在生产产品的同时 ,也产生大量关于 式识别、统计学、智能数据库、知识获取、数据可视 生产过程的信息。这些信息的有效利用极大地促进 化、高性能计算机和专家系统等多个领域。数据挖 了化工生产的科学管理和生产优化 ,与此同时 , 日益 掘的两个高层次目标是预测和描述。预测的基本任 积累的信息也带来了许多新的挑战和问题 ,如信息 务包括分类、回归、时间序列分析和预测。描述的基 过量、信息真假难辨、信息安全隐患、信息矛盾等。 本任务包括聚类、总结、关联规则和序列发现。 面对这一挑战 ,数据挖掘技术应运而生 ,并显示了强 数据库技术只是将数据有效地组织和存储在数 大的生命力。 据库中 ,并对这些数据作一些简单分析 ,大量隐藏在 ( 一般说来 ,数据库里的知识发现 Knowledge Dis 数据内部的有用信息无法得到。而机器学习、模式 covery in Database ,KDD) ,是指从大量的数据中提取 识别、统计学等领域却有大量提取知识的方法 ,但没 出有效模式的非平凡过程 , 该模式是新颖的、可信 有和实际应用中的海量数据结合起来 ,很大程度上 的、有效的、可能有用的和最终可以理解的[1 ] 。而数 只是对实验数据或学术研究发挥作用。数据挖掘从 ( ) 据挖掘 Data Mining ,DM 被认为是 KDD 中的一个步 一个新的角度将数据库技术、机器学习、模式识别和 骤 ,是指利用某些特定的知识发现算法 ,在一定的运 统计学等领域结合起来 ,从更深层次中发掘存在于 算效率限制下 ,从数据库中提取出感兴趣的模式[2 ] 。 数据内部有效的、新颖的、具有潜在效用的乃至最终 近十年来 ,数据挖掘技术无论在理论上 ,还是在实用 技术上 ,都已取得了较大的进展[3 ] , 同时也开发出了 可理解的模式。数据挖掘常用方法及技术分为 : 各种专用或通用的商业数据挖掘软件[4 ] 。在化学领 ( 1) 数学统计方法