数据挖掘原理与应用——以石油勘探开发为例 课件 3.5 数据规约.pptxVIP

3.5数据规约

数据规约为什么需要进行数据规约？在海量数据上进行复杂数据分析与挖掘需要很大的时空开销数据归约(data?reduction)：用来得到数据集的归约表示，它小得多，但可产生相同或几乎相同的分析结果常用的归约策略维归约，e.g.移除不重要的属性数据压缩数值归约，e.g.使用模型来表示数据数据离散化和概念分层产生用于数据归约的时间不应当超过或“抵消”在归约后的数据上挖掘节省的时间

数据规约1.维归约维归约：减少所考虑的随机变量或属性的个数属性子集选择（特征选择）：通过删除不相干、弱相关或冗余的属性或维减少数据量目标：找出最小属性集，使得数据类的概率分布尽可能的接近使用所有属性的原分布优点：减少了出现在发现模式上的属性数目，使得模式更易于理解启发式的（探索性的）方法逐步向前选择逐步向后删除小波变换主成分分析

老师全屏

数据规约属性子集选择1）逐步向前选择(逐步添加方法）该过程由空属性集开始，选择原属性集中最好的属性，并将它添加到该集合中。在其后的每一次迭代，将原属性集剩下的属性中的最好的属性添加到该集合中。如：遗传算法遗传算法是一种基于生物进化论和分子遗传学的全局随机搜索算法。

数据规约属性子集选择2）逐步向后删除(逐步消减方法）该过程由整个属性集开始。在每一步，删除掉在属性集中