数学建模及数据挖掘方法.pptVIP

对于问题1，通常使用m值法来估计条件概率以解决这种情况。 m值估计法：条件概率的估计值用下式进行估计 其中，n为训练样本中类Ci的总实例数，nc为Ci类中取值为xj的实例数，m和p是用户事先给定的参数。一般m为正整数，p是位于0与1之间的小数。 例.设m=10，p=1/4，试对前面所给的数据重新估计离散型属性的各条件概率。 是 是 单身 否 10 否 是 已婚 否 9 是 是 单身 否 8 否 否 离婚 是 7 否 是 已婚 否 6 是 是 离婚 否 5 否 否 已婚 是 4 否 是 但是 否 3 否 否 已婚 否 2 否 否 单身 是 1 拖欠贷款 年收入97K 婚姻状况 有房 tid 第二层结点的选择与首结点类似，具体选择过程如下： 对于“Sunny”的分支，从原数据集T中统计出Outlook属性值为sunny的样本作为新的数据集T。 Y F N C N F H M N T H H N F H H T Play Windy Humi Temp Outlook=S 对于Temperature属性，简单统计如下： 2 2 0 hot(T1) 1 1 0 mild(T2) 1 0 1 cool(T3) Play=no total Play=yes Temperature 对于Humidity属性，简单统计如下： 显然 1 0 1 Normal(T1) 3 3 0 high(T2) Play=no total Play=yes Humidity 3 2 1 F(T1) 1 1 0 T(T2) Play=no total Play=yes Windy 因此Sunny分支下的分裂属性可选Temperature或Humidity，若取Humidity，则其属性H和N下的记录都为相同的类，该分支算法结束。 Y F N C S N F H M S N T H H S N F H H S Play Windy Humi Temp Outlook 其分支结构如下： Humidity Sunny High Normal Play=No Play=Yes 剩下的计算类似，最后得到决策树如下： Outlook Temp Sunny High M Play=No Play=No C Play=Yes Windy False Play=Yes Play=No True Rain Play=Yes Overcast 六、信息增益和Gini Index值的另一个应用 考虑如下问题：预测贷款申请者是否会按时归还贷款，历史数据如下： 是 90K 单身 否 10 否 75K 已婚 否 9 是 85K 单身 否 8 否 220K 离异 是 7 否 60K 已婚 否 6 是 95K 离异 否 5 否 120K 已婚 是 4 否 70K 单身 否 3 否 100K 已婚 否 2 否 125K 单身 是 1 拖欠贷款 年收入 婚姻状况 有房 顾客Id 对于“年收入”属性，它是连续型变量，按前面决策树的构造方法，应该每个属性都是离散型属性。为此，应该把连续型属性划分成若干个区间，这样把该属性化为离散型属性。简单的，若划分为两个区间，如何划分？ 可以用信息增益或Gini Index值方法。步骤如下： 把连续型属性值由小到大排列，取每两个值的中间值作为候选划分点： 值 类 220 125 120 100 95 90 85 75 70 60 N N N N Y Y Y N N N 172 122 110 97 92 87 80 72 65 候选划分点 然后计算按各个候选划分点划分的信息增益或GiniIndex值，例如，用Gini Index值方法如下： 值 类 220 125 120 100 95 90 85 75 70 60 N N N N Y Y Y N N N 172 122 110 97 92 87 80 72 65 候选划分点 对于候选点65，划分后类别统计如下 3 6 =65(T2) 0 1 65(T1) 类=Y 类=N 值 类 220 125 120 100 95 90 85 75 70 60 N N N N Y Y Y N N N 172 122 110 97 92 87 80 72 65 候选划分点 对于候选点72，划分后类别统计如下 3 5 =70(T2) 0 2 70(T1) 类=Y 类=N 值 类 220 125 120 100 95 90 85 75 70 60 N N N N Y Y Y N N N 172 122 110 97 92 87 80 72 65 候选划分点 对于候选点80， 对于候选点87， 对于候选点92， 对于候选点97， 对于候选点110， 对于候选点122， 对于候选点172， 最佳候选点 根据上