一种数据预处理方法及其应用(论文资料).pdfVIP

维普资讯 化 学 工 程 师 一一豢一一 Chemical Engineer 2O03年 02月 文章编号：1002—1124(2003)01—0019—02 一 种数据预处理方法及其应用 张有正 徐明仙 (1．浙江工业大学浙西分校化工系，浙江 衡州 324006；2．杭州职业技术学院，浙江 杭州 310002) 摘 要：本文提出一种基于技术判别法、系统聚类分析和噪音平滑技术的混合数据预处理方法，并将它应用于 煤炭发热量和灰份的原始数据预处理，效果良好。 关键词：数据预处理；发热量；灰份 中图分类号：rIB53 文献标识码 ：A Anapproachofdataprepl~ anditsapplication ZHANGYou—zheng，XUMiflg—xian2 (1．DepallmentofhCemicalEngineering，WestBranchofZhejiangUniversityofTechnology，QU~OU324406，C~lina； 2．Hangz|l0IlInstituteofVocationalTechnology，Hang由0Il310002，Oana) Abst耐 ：Anaplmmchofdatapreprocessingisproposalinthispaper．Itisbasedontechnologicdiscriminanceandsystem clusteringanalyseanderrorsmoothnessdisposa1．Itsigoodeffectofthisapproachbeingaprai~dtoprocesstheoli Ilaladatofcalo- riflevalueandashcontentofcoa1． Keywords_．datapreprocessing；calorificvalue；asiacontent 实际观测所得到的数据，往往是观测者所需要 并合并最接近的两类，直至全部对象被合并为一类 的真实信号和各种各样的干扰或误差噪音等成分叠 为止。其具体步骤为： 加在一起的结果。若不进行预处理，将使建模效果 (1)计算全部 n个样品两两间的距离 {d}，并 不理想，甚至出现模型与实际工业过程相矛盾的现 构成 n维距离系数矩阵D。 象，失去了建模的意义。因此，数据预处理非常重 (2)将每个样品作为一类，共构成 n类。 要，它是许多优秀建模方法和算法能够正常应用，并 3)由系数矩阵找出并合并距离最近的类为一 发挥其功效的前提。 新类，于是总的类数将至少减 1，记下参加合并的类 1 混合数据预处理方法 的序号与距离。 (4)若只剩下1类，转至步骤(5)；否则计算新类 由于许多实际的工程问题采集的数据量往往不 与当前其它各类的距离，调整系数矩阵 D，然后返 大，概率密函数不易求得，很难用传统的数据统计方 回步骤(3)。 法(如格罗贝斯准则和荻克逊方法等n )进行预处 (5)根据步骤(3)中记录的序号和距离，画出聚 理。鉴于此，本文提出了一种基于技术判别法、系统 类图。 聚类分析和噪音平滑技术的混合数据预处理方法。 (6)选定阈值，确定类的个数，最后得到所聚成 1．1 技术判别法