做好数据挖掘模型的9条经验总结_光环大数据培训8.pdfVIP

光环大数据--大数据培训知名品牌 做好数据挖掘模型的9 条经验总结_光环大数据培训 光环大数据培训机构，数据挖掘是利用业务知识从数据中发现和解释知识 (或称为模式)的过程，这种知识是以自然或者人工形式创造的新知识。 当前的数据挖掘形式，是在20 世纪90 年代实践领域诞生的，是在集成数据 挖掘算法平台发展的支撑下适合商业分析的一种形式。也许是因为数据挖掘源于 实践而非 理论，在其过程的理解上不太引人注意。20 世纪 90 年代晚期发展的 CRISP-DM，逐渐成为数据挖掘过程的一种标准化过程，被越来越多的数据挖掘实 践者成功运用和遵循。 虽然CRISP-DM 能够指导如何实施数据挖掘，但是它不能解释数据挖掘是什 么或者为什么适合这样做。在本文中我将阐述我提出数据挖掘的九种准则或“定 律”(其中大多数为实践者所熟知)以及另外其它一些熟知的解释。开始从理论上 (不仅仅是描述上)来解释数据挖掘过程。 我的目的不是评论CRISP-DM，但CRISP-DM 的许多概念对于理解数据挖掘是 至关重要的，本文也将依赖于CRISP-DM 的常见术语。CRISP-DM 仅仅是论述这个 过程的开始。 光环大数据 光环大数据--大数据培训知名品牌 第一，目标律：业务目标是所有数据解决方案的源头 它定义了数据挖掘的主题：数据挖掘关注解决业务业问题和实现业务目标。 数据挖掘主要不是一种技术，而是一个过程，业务目标是它的的核心。 没有业 务目标，没有数据挖掘(不管这种表述是否清楚)。因此这个准则也可以说成：数 据挖掘是业务过程。 第二，知识律：业务知识是数据挖掘过程每一步的核心 这里定义了数据挖掘过程的一个关键特征。CRISP-DM 的一种朴素的解读是 业务知识仅仅作用于数据挖掘过程开始的目标的定义与最后的结果的实施，这将 错过数据挖掘过程的一个关键属性，即业务知识是每一步的核心。 为了方便理解，我使用CRISP-DM 阶段来说明： 商业理解必须基于业务知识，所以数据挖掘目标必须是业务目标的映射 (这种映射也基于数据知识和数据挖掘知识); 数据理解使用业务知识理解与业务问题相关的数据，以及它们是如何相 关的; 数据预处理就是利用业务知识来塑造数据，使得业务问题可以被提出和 光环大数据 光环大数据--大数据培训知名品牌 解答(更详尽的第三条—准备律); 建模是使用数据挖掘算法创建预测模型，同时解释模型和业务目标的特 点，也就是说理解它们之间的业务相关性; 评估是模型对理解业务的影响; 实施是将数据挖掘结果作用于业务过程 总之，没有业务知识，数据挖掘过程的每一步都是无效的，也没有“纯粹的 技术”步骤。 业务知识指导过程产生有益的结果，并使得那些有益的结果得到 认可。数据挖掘是一个反复的过程，业务知识是它的核心，驱动着结果的持续改 善。 这背后的原因可以用“鸿沟的表现”(chasm of representation)来解释(Alan Montgomery 在20 世纪90 年代对数据挖掘提出的一个观点)。Montgomery 指出数 据挖掘目标涉及到现实的业务，然而数据仅能表示现实的一 部分;数据和现实世 界是有差距(或“鸿沟”)的。在数据挖掘过程中，业务知识来弥补这一差距，在 数据中无论发现什么，只有使用业务知识解释才能显示其重要 性，数据中的任 何遗漏必须通过业务知识弥补。只有业务知识才能弥补这种缺失，这是业务知识 为什么是数据挖掘过程每一步骤的核心的原因。 第三，准备律：数据预处理比数据挖掘其他任何一个过程都重要 光环大数据 光环大数据--大数据培训知名品牌 这是数据挖掘著名的格言，数据挖掘项目中最费力的事是数据获取