spssmodeler培训.ppt

SPSS Modeler培训(1) 2 培训内容 第一章 SPSS Modeler简介 第二章 读取数据文件 第三章 数据质量 第四章 数据处理 第五章 寻找数据之间的关系 第六章 复杂数据处理 3 第一章 SPSS Modeler数据挖掘简介 内容： 数据挖掘概念和技术简介 介绍CRISP-DM (跨行业数据挖掘标准流程) 介绍数据挖掘环境 介绍基本操作 数据挖掘定义：用已验证的方法从大量数据中发掘出可采取行动的内在知识，从而改善企业运营。 已验证的方法 数据 知识 改善运营 数据挖掘技术： 预测与分类 聚类 关联性分析 序列分析 异常监测 时间序列分析 知识 数据 数据 数据 数据挖掘 4 关联可能一起发生的事件 关联分析 5 确定事件发生的序列 序列相关分析 6 基于事物的属性进行自动归类 聚类分析 7 对将来发生的事情进行预测 预测与分类 8 从正常群体中筛选出行为异常的个体 异常分析 9 基于事物发展的延续性和随机性预测事物未来的发展 时间序列分析 10 11 CRISP-DM 过程模型 跨行业数据挖掘标准过程（CRISP－DM） 定位是面向行业、工具导向、面向应用 适用于大型工业和商业实践的一般标准 六个阶段： 商业理解 数据理解 数据准备 建模 模型评估 结果发布 12 CRISP-DM——商业理解 商业 理解 数据 理解 数据 准备 建立 模型 模型 评估 结果 发布 确定商业 目标 形势评估 确定数据 挖掘目标 制定项目 计划 背景 商业目标 成功标准 拥有资源 需求、假定 和限制 风险和 偶然性 专业 术语 成本和 收益 数据挖掘 目标 数据挖掘 成功标准 项目计划 工具和方法 评估 13 预测应用相关的时间窗定义 初始期： 用于计算用户价值（当前ARPU值），确定适合客户维系活动的客户群体。 用于评估客户未来一年内的客户价值以及客户价值增长的可能性 用于描述流失客户历史通话行为特征及产品消费特征 观察期： 用于构造流失预测模型分析指标的时间区域 用于构造固定期限合同客户是否重新续约的时间区域 用于构造客户流失类型预测模型模型分析指标的时间区域 预测期： 客户流失状态出现的时间区域 客户不再选择固定期限续约状态出现的时间区域 客户维系相关数据挖掘模型观测客户行为的时间窗 14 数据挖掘项目实施过程——客户价值评估举例 业务目标——是否只关注客户未来价值是否成长而不考虑客户未来的价值等级？客户价值等级如何划分？ 分析目标范围——分析的范围是所有的客户还是部分产品的客户? 时间窗——预估多长时间段以后的客户价值？客户价值等级定义是以多长时间段的价值为参考依据？ 业务分析思路假设——哪些因素能决定客户未来的价值成长可能性？客户年龄、职业、最近一年的累积话费增长率、同龄人中的价值等级等 数据挖掘目标细化——是否针对客户未来变成其它任意等级的可能性进行评估？是否需要把预付费客户和后付费客户分开？ 15 CRISP-DM——数据理解 商业 理解 数据 理解 数据 准备 建立 模型 模型 评估 结果 发布 收集原始 数据 数据描述 数据探索 性分析 数据质量 描述 数据收集 报告 数据描述 报告 探索性数据 分析报告 数据质量 报告 16 数据挖掘项目实施过程——客户价值评估举例 数据字典描述 业务假设验证——主要业务假设参考因素和分析目标的关联程度如何？ 业务假设不成立 业务假设成立 数据质量分析——关注的因素数据质量如何？缺失率是否严重？ √ 17 CRISP-DM——数据准备 商业 理解 数据 理解 数据 准备 建立 模型 模型 评估 结果 发布 选择数据 确定分析包含/剔除数据 数据集 数据集 描述 数据清理 数据清理报告 数据重构 生成新的变量（字段） 生成新的记录 整合数据 合并相关数据 格式化数据 改变数据格式，适应分析 18 数据挖掘项目实施过程——商铺价值成长性评估举例 缺失值填补——客户年收入数据缺失，补入一定范围内的随机数？还是常值？还是建立另一个预测模型通过其它客户年收入来填补客户年收入缺失值？ 清理异常数据——哪些客户由于特殊情况客户年收入填写失真？哪些客户年收入数据有问题？ 派生衍生变量——最近3个月的交易量转换成交易量增长百分比；开户日期转换成开户时长等 19 CRISP-DM——建立模型 商业 理解 数据 理解 数据 准备 建立 模型 模型 评估 结果 发布 选择建模 技术 产生检验 设计 建立模型 评价模型 模型 技术 模型假设 检验设计 参数设定 建模 模型评价 参数设定 的修订 模型描述 20 精确营销分