数据挖掘与应用十三.pptVIP

受试者操作特性曲线 特异度 (specificity) 定义为真阴性 (true negative) 观测数与阴 性总观测数之比。 真阴性观测数指的是实际不响应而模型也预测不响应的顾 客数；阴性总观测数指的是实际不响应的顾客数。 敏感度 (sensitivity) 定义为真阳性 (true positive) 观测数与阳 性总观测数之比。 真阳性观测数指的是实际响应而模型也预测响应的顾客数， 阳性总观测数指的是实际响应的顾客数 ( 很容易推出，此处敏感 度等于累积捕获响应率 ) 。 21 受试者操作特性曲线 C 的值从 1 变化到 0 时，特异度和敏感度的值都会变化，将 “ 1- 特异度”作为横轴、敏感度作为纵轴作图，这种变化在图中 形成的曲线就被称为 ROC 曲线。 当 C=1 时，所有顾客都被预测为不会响应，因此特异度 =1(1- 特异度 =0) ，敏感度 =0; 当 C=0 时，所有顾客都被预测为会响应，因此特异度 =0(1- 特异度 =1) ，敏感度 =1 。 ROC 曲线是连接 (0,0) 点和 (1,1) 点的一条曲线。 22 受试者操作特性曲线 理想情况下，任意响应者的预测响应概率都大于所有非 响应者的预测响应概率。因此，存在 C* 使得预测响应概率大 于 C* 的所有顾客都是响应者，而其他顾客都是非响应者。 23 受试者操作特性曲线 当 C ≥ C* 时，所有实际非响应者都被正确地预测为不响应 ; 因为特异度是实际非响应者中被模型预测为非响应者的比例， 所以特异度 =1 (1- 特异度 =0) ，而敏感度是实际响应者中被模 型预测为响应者的比例 ; 当 CC* 时，所有实际响应者都被正确地预测为响应，因 此敏感度 =1 ，当 C 的值从 C* 变化到 0 时，特异度从 1 变化到 0(1- 特异度”从 0 变化到 1) 。 所以理想的 ROC 曲线由连接 (0,0) 点和 (1,0 ) 点的线段与连 接 (1,0) 点和 (1,1) 点的线段组成。 24 受试者操作特性曲线 在基准情况下，任意选取一部分顾客，其中响应者所占 的比例都等于总体响应率，非响应者所占的比例都等于总体 非响应率。对任意 C 值： 特异度都等于预测非响应者人数占顾客总人数的比例； 而敏感度都等于预测响应者人数占顾客总人数的比例； 它们的和总是等于 1 。 所以基准的 ROC 曲线就是连接 (o,o 点和 (1,1) 点的一条对 角直线。 25 受试者操作特性曲线 一般而言，模型的 ROC 曲线落在理想 ROC 曲线与基准 ROC 曲线之间。 标。 ROC 曲线下的面积也可作为衡量模型效果的一个数值指 基准 ROC 曲线下的面积为 0.5 ，理想 ROC 曲线下的面积为 1 ，一般模型 ROC 曲线下的面积在 0.5 至 1 之间，这个值越接近 1 ，模型效果越好。 26 受试者操作特性曲线 对模型的预测效果而言，特异度和敏感度都是越大越好， 但是这两者之间需要平衡。 有时在实际应用中，我们希望选择截断值 C 以使特异度 与敏感度的和达到最大 ; 这时可以取 45 度角直线簇 敏感度 = α +(1- 特异度 ) ? 特异度 + 敏感度 = α +1 与 ROC 曲线的切点，选取切点对应的 C 值。 27 盈利评估 除了考察顾客的响应情况，还可以考察直邮营销的盈利 情况。 前面讨论过分类利润，涉及顾客的平均购买金额，但在 实际中顾客购买的金额通常大小不一。 评估模型效果时使用顾客的实际购买金额评估将更加细 致。 28 盈利评估 假设联系顾客的成本为每人 1 元。 29 盈利评估 30 盈利评估 非累积利润图 累积利润图 基准利润 : 不使用任何模型而随机联系顾客所得的利润。 出于随机性，它等于联系所有顾客所得利润 ( 累计利润表 最后一行的利润 -13,060) 与被联系人数占顾客总人数的比例的 乘积。 非累积情形下，基准利润等于总利润的 1/10 ，即 -1,306 ； 累积情形下，基准利润等于总利润的 i/10 ，即 -1.3061i (i=1, … ,10) 。 31 第十三讲 模型评估 1 模型评估 为了得到能有效预测因变量的模型，可以建立多个模型， 对它们进行评估和比较，并从中选择最优的模型。通常根据对 修正数据集的预测效果来选择模型。一般地： 令 D 为评估数据集； N D 为其中的观测数； ? 分别表示 D 中观测 i 的因变量的真实值和模型预测 令 Y i 和 Y i 值。 因变量为二分变量的情形 若因变量只有两种取值，可不失一般性地假设它们为 0 和 t 。 ? i 0 和 p ? i 1 。 设模型预测观测 i 属于类别 0 和类别 1 的概率分别为 p 可使用以下方法得到 Y i 的预测值 : ? =1 ，否则令 Y