应用SAS_EM进行数据挖掘.pptVIP

* * * * * 回归方法描述一个变量如何的依赖另一个变量。 * * * ROC: Receiver operating characteristic. ROC曲线源至一种信号检测理论。它反映的是分界概率值与模型命中率的关系。 Gains chart is graphical assessment tool for binary targets: Calculate the posterior probabilities for each case in the (validation) data. Rank the estimated posterior probabilities Dordered cases evenly into groups (often deciles) * 混淆矩阵是预测值与实际结果的双向列联表。 每当我们将一个物体归入某一类别时，我们冒着出错的风险。在多类别问题中，某些分类错误要比其它分类错误危害更大。处理这种问题的一种定量分析的方法就是引入代价（损失）函数。 * 使用贝叶斯估计（Bayes rule），假设这两种错误（棕判断为绿和绿判断为棕）的损耗比等于3。 选择较高的分界概率会截取响应曲面上较小的山峰，在投影图上显示为较小的椭圆。这样会有较少的棕点被误判为绿点，但同时有更多的绿点被误判为棕点。分界概率为0.5意味着两种误判的概率是均等的。 选择较低的分界概率会截取大片的山峰，在投影图上显示为较大的椭圆。较少的绿点被误判为棕点，但更多的棕点被误判为绿点。分界概率为0.1意味着把绿点误判为棕点的概率是把棕点误判为绿点的1/9。 （Bayes rule，事后估计或后验估计。为了使事前信息和样本结合起来以提供一个全面的最终估计） * 在我们开发出预测模型后，模型必须被应用到新的案例中去。这个过程叫做计分（Scoring）。 * 例如欺诈监测系统，模型最终要被集成到在线监控系统中。 EM神经网络节点 提供基本选项给普通用户 “智能”设定其它的复杂参数 EM决策树节点 Workshop（信用风险建模） 业务问题 用于建模的数据 建模前的数据处理 建立预测模型 模型的评估 模型实施 Assessment 阶段 Lift Charts(又叫 gains chart) 利润/损失图（Profit/Loss Charts） 投资效益比图(ROI) 诊断分类图 ROC Charts 各种基于临界值的图形（Threshold-based Charts）。 Assessment 节点 结果的鉴别 好 中 差 ROC 增益 累计增益 二值目标的混淆矩阵（Confusion Matrix） 正确的 否定 错误的 肯定 错误的 否定 正确的 肯定 0 1 0 1 预测结果 实际 结果 实际否定 合计 实际肯定 合计 否定合计 肯定合计 分界（Cutoff）概率 x2 0.0 0.2 0.4 0.6 0.8 1.0 x1 0.0 0.2 0.4 0.6 0.8 1.0 较低的分界概率 (.1) 较高的分界概率 (.5) Workshop（信用风险建模） 业务问题 用于建模的数据 建模前的数据处理 建立预测模型 模型的评估 模型实施 模型实施 我们可以用模型来做什么？？ 评分 策略 执行 监控 集成 Scoring 模型开发 模型实施 集成到现有的业务系统，决策支持系统中。 在线客户服务系统 设计Strategy 收益模拟 R=信用额度*使用率*利息*人数*（1-p(呆帐)） Loss=信用额度*人数*p(呆帐) 使P=Revenue – Loss最大化 压力测试 经济发展 ? p(呆帐) ? 经济萧条 ? p(呆帐) ? 信用记分模型实施的时间窗 Actions taken Prediction of Good/Bad Model Applied Time 1 month Model Applied Actions taken 结束 * * * * * * * * * * 申请记分卡：当客户向银行申请信用卡时使用的信用记分卡。 客户填写一张申请表，使用申请计分模型计算他所得到的分值，然后根据不同的分值按照cut-off点，拒绝或接受该申请人，并按照事先确定的Strategy给定不同的信用额度、利息，是否要预付费等。 * 行为记分卡：客户使用信用卡期间使用的记分卡模型，对他的消费行为进行打分。 使用客户历史消费情况数据，通过行为记分模型计算他所得到的分值，然后根据不同的分值，并按照事先确定的Strategy给予增加或减小信用额度、提高或降低信用卡级别等。并可通过分析行为模式确定是否要向其推销相关产品（x-selling or up-selling） * 收集记分卡：收账期间使用的记分卡模型，对他收账的可