数据信息采掘(Data+Mining)在冶金中的应用.pdfVIP

并I 18卷专辑 J1 中 国 稀 土 学 报 2000自：9 翌：!ij臣：!兰竺。． ．坦竺些些驾望!兰旦坚坚!坠坚呈坚望j筌璺： !：￡：型 数据信息采掘(Data Mining)在冶金中的应用 陈念贻1”，钦佩扣’，陈瑞亮1，陆文聪2 0005 01800) (1．中科院上海冶金研究所，上海，2 0；2．上海大学化学系，上海，2 ■蔓年：文舟鲥D蛔M删ng的方法和l堂川．摧冶金牛产技术指标肿优化．乍产成木管理的改进、辅助新材抖新产舳试制、冶盘物化理 ie研究应_【}』四十片而说哪Dam M训ng出坩的效来。 关酾：晰M晌窖，生产优化．成本臂矗，薪产品读■，冶金物化理论研究 1 Data Mining——新兴的应用技术领域 21世纪社会的特点之一是：数据以惊人的规模在积累，其原因有： (1)工业生产的集约化：例如．一个大型钢铁企业有成千上万个传感器或仪表，每时每刻在输出数据。 (2)传感器技术的普及：各种生产、科研、矿物勘探、环保监剥都用传感器输出数据。 (3)计算机网络的应用：各种数据的网络传输使数据得以保存、集中、利用。 (4)科研活动的扩大：科研、新产品开发都大量积累数据。 (5)金融活动的全球化： ……等等。 由于数据的惊人积累，传统的数据处理方式(人工记录、印刷出版、编成手册……等等)已不够用。 60年代以来，由于计算机技术发展，各行各业的数据库(Da诅Basc)纷纷建立。用计算机存储、检索数 据成为不可或缺的手段。近年来，美国mM公司作了一次调研，发现已建立的数据库中，90％以上的数 据入库后从未有人问津。何咀如此庞大的信息宝藏利用率如此之低?关键是“采掘宝藏”(Mining)的技 术不够成熟。为此．“从数据中挖掘宝藏——_Da协Mining”乃成为新兴的应用技术的一个焦点。 从大批数据中“挖掘”信息，这并不是一个新问题。早在十九世纪．以概率论和回归方法等为基础 的统计数学本来就是从大批数据中找规律的有力工具。由于十九世纪尚无计算机，数学家只能在许多聪明 的假设或公理的基础上作统计，许多统计方法对于呈线性关系、低噪声、数据分布较均匀、影响因子间互 不相关的现象能有效处理。但可惜的是：太多数实用领域中的数据并不符合上述条件。恰恰相反，绝大多 数实用数据具有或部分具有下列六个特征： 以下为“近线性”，按此标准，冶金、化工的实用数据集也只有一小部分可归入“近线性”一类。 (2)高噪声：例如，由于冶金过程中的混沌、多重稳态、未知因素干扰等原因．许多数据重现性不 佳，有噪声干扰。 (3)多园子：例如，一个冶金过程的节能问腰与几十个或上百个影响因子有关。 (4)自变量间相关：例如，钢材抗拉强度、屈服强度、伸长率都对钢材加工有影响．但这些性能指 标问常有明显相关性，这给数学模型的建立带来很大困难。 (5)非高斯分布：统计数学往往假定数据呈高斯分布，事实上高斯分布只有在多种互不相关的微小 影响叠加在一起时才会呈现。冶金、化工、材料科学中多数现象不符合此条件．通常不表现为高斯分布。 (6)数据分布不均匀：例如，工业生产记录受操作规程或追求效益的约束，分布极不均匀，这常给 数据稀疏区的统计预报带来大偏差。 为方便计，我们称具有或部分具有上述特征的数据为“复杂数据”。如何从“复杂数据”中采掘信息， 是Da恤Mini雎中的一个挑战性课题。 摹金项H：国家科技部“BB3”项H 作剐畸舟；睬念眙c193卜)．男．广采，本科．研究员 “通信鞋系人 ，