应用SAS_EM_进行数据挖掘.pptVIP

应用SAS/EM进行数据挖掘 2007-10-24 议程 数据挖掘概述 SAS数据挖掘项目方法论及工具SAS/EM简介 Workshop 企业决策支持信息系统 什么是数据挖掘？ 数据挖掘全过程 数据挖掘涉及领域 数据挖掘算法（按有无目标变量） 数据挖掘算法（按分析目的） 回归算法：线性回归、逻辑回归、概率回归 统计方法：主成分分析、因子分析、判别分析等 关联算法：关联模式、序列模式、连接分析等 聚类算法：Cluster、SOM/Kohonen 神经元网络：MLP、RBF 决策树：CHAID、CART、C4.5、C5.0 议程 数据挖掘概述 SAS数据挖掘项目方法论及工具EM简介 Workshop SAS 数据挖掘项目方法论? 企业化经典统计数据分析工具 统计分析：STAT,LAB,INSIGHT 计量经济学与时间序列分析：ETS 运筹优化：OR 质量控制与质量提高：QC 矩阵编程语言：IML 图形与分析工具：GRAPH Thin Client: Enterprise Guide 数据挖掘工具：SAS/Enterprise Miner 傻瓜兼专家型 EM基本介绍 EM特色 EM界面 SEMMA方法论 节点简介 节点通用概貌 SAS/EM特色 支持广泛的平台包括各种UNIX，MVS，OS/390，Linux 可访问的数据源多达50多种，和数据库，数据仓库很好的集成 Client/Server结构。 SEMMA方法论引导，将数据挖掘功能模块组成处理流程图，可视化，图形化，拖拽式操作界面，适用于业务和技术人员 丰富的可视化数据探索节点，对数据进行细致分析 提供多种数据预处理和变换工具，包括变量自动选择等功能 提供丰富的数据挖掘模型和灵活的算法： 决策树，神经元网络，回归，基于记忆的推理，两阶段模型，K均值聚类，自组织映射及其他统计方法，以及模型组装技术(Ensemble) 提供模型评估模块和多种评估准则 提供完整的数据挖掘模型代码输出和打分（Scoring）功能 报告工具可以将整个数据挖掘流程和结果生成HTML格式的详细的报告，与其它业务专家和数据挖掘专家共享。 SAS/EM 界面 SAS数据挖掘过程方法论-SEMMA 节点简介：Sampling类节点 节点简介： Explore类节点 Distribution Explorer 提供数据的多维分布图，以了解变量的趋势和特色 Multiplot 提供所有变量的分布图及对KOV的关系图 SAS/INSIGHT 提供交互式直观统计分析 Variable Selection 提供选择对KOV重要的KIVs的功能 Association 提供关联分析和序列分析 Link Analysis 提供连接关系分析 节点简介： Modify类节点 节点简介： Model类节点 Regression 提供多元回归、 逻辑/概率回归及自动选择变量变量的功能 Decision Tree 决策树，支持CHAID, CART, ID3/ C4.5等算法 Neural Network 提供MLP、RBF等网络结构，及多种调整方法 User Defined Model 为SAS程序编制的模型提供统一的模型评价界面 Ensemble 提供模型整合的功能，如Combine, Stratified, Bagging&Boosting Two-Stage Model 两阶段模型 Memory Based Reasoning 节点简介： Assess类节点 节点简介： Scoring类节点 节点简介： Utilities类节点 节点通用概貌 In/Out Data Properties(选择，浏览) Data/Variables/Log/Output/Notes等Tab 修改节点后的自动保存 节点的下拉菜单 SAS/EM处理示例 议程 数据挖掘概述 SAS数据挖掘项目方法论及工具EM简介 Workshop Workshop（信用风险建模） 业务问题 用于建模的数据 建模前的数据处理 建立预测模型 模型的评估 模型实施 信用风险的业务问题 客户从商业机构获得资金、产品或服务，承诺在未来某天或某段时间内偿还他所使用的资金、产品或服务，并支付一定的费用 一个“坏账”客户带来的损失相当于数百个“好”客户给您带来的收益 信用管理者要求提供对风险进行定量的度量，以及根据其风险大小决定采取何种最佳措施以减低将来的损失 定义我们关注的高信用风险 申请信用时关注的风险 Profitable? 将来拖欠的可能性很大 …… 客户使用过程中关注的风险 信用卡欺诈 客户拖欠偿还我提供的信用？多久才是高风险？ …… 催收欠费过程中关注的风险 无法收回？ 信用周期 - Behaviour 信用周期 - Collection Workshop（信