应用领域知识的数据预处理方法地研究.pdfVIP

应用领域知识的数据预处理方法的研究 张文凌李晋宏 北方工业大学信息工程学院100041 摘要：本文说明了在数据预处理当中结合领域知识的重要性，对应用于数据预处理相关的领域知识分类进 行了总结，并补充了数理统计领域知识，采用Ⅺ咀，文件形式来存储领域知识，在此基础上提出了一种通用 的应用领域知识进行数据预处理的框架模型。 关键词：领域知识；数据预处理：数据挖掘 I DOmain intoData ncorporatlngKnowIedge Li ZhallgW色nlingJiIlhong 0fInfo吼ation China CoUege Enginee血g，NonhUniVe玮ityofTechnolo卧100041 iⅡto ，山st阻ct：ThisfocllsesoⅡthe of data paper importanceiⅡcorpontiondoma证lmoⅥ，ledge 0f for iIl cl船si五cadondomain andadds howledge statis雠howledge pro∞sses based adomain data xML五les，allast domaiⅡho、订edgeusing propo∞s ho、川edge Knowledge；Data KeylⅣords：Domain P他proc髂ses；DataM曲g 1 引言 近年来，数据挖掘已成为学术界研究的熟点，其应用领域也在不断的扩展。而数据预处理作为数据挖掘 过程的第一步。约占整个数据挖掘工作量的60％，其处理结果的质量直接影响着数据挖掘最后的结果。 现实世界中大型数据库和数据仓库往往存在不完整的(属性值缺失或者不确定)、含噪声的(数据存在 孤立点或者异常值)、不一致的(多数据源的数据缺乏统一标准)数据。数据预处理的目的是为数据挖掘准 各规范的、满足挖掘要求的以及符合所应用领域实际的数据源，改进数据的质量，从而有助于提高其后的数 据挖掘过程的精度和性能，其主要包含数据清洗、数据集成和转换、数据变换、数据规约等技术。 领域知识(Dolnain 系I”。某个领域的领域知识可以从领域的专家那里获得，也可以从其他数据挖掘的结果中提练．本质上说， 领域知识能够反映客观实际的数据挖掘结果，是对该数据源的高度概括，是对隐藏在数据源内部知识的一种 形式化描述。与单一的领域专家的经验知识相比，它来自于实际数据。因而更具客观性。将领域知识应用于 数据挖掘的预处理过程中，可以对数据源进行过滤或补充，将有效地减少数据源的样本数量，提高数据源的 质量，从而提高了数据挖掘的速度H。 2领域知识的分类 领域知识在专家系统和数据库搜索中得到了广泛应用，然而由于应用领域复杂、在领域知识的形式化表 ·253· 示以及应用机制的自动化等方面遇到困难，目前将领域知识融入整个知识发现系统的研究还处在初级阶段。 应用于数据预处理的领域知识有其自身特点，更加注重表示数据属性之间、记录之间的关系以及属性、记录 取值的一些限定，本身并不需要过多的推理机制。根据以上特点，文献【21将