数据分析决策树决策树模型进行癌症分类分析上45课件讲解.pptxVIP

数据分析-决策树-决策树模型进行癌症分类分析（上）

任务描述任务描述：通过决策树模型对于癌症分类问题进行分析。主要内容：1.决策树算法的树的生长2.决策树算法的处理连续特征和缺失值3.决策树算法的多变量决策树

决策树算法的树的生长下面是决策树算法树的生长的主要步骤：（1）选择最佳划分特征在每个节点上，根据选择的决策准则（如信息增益、基尼指数等），从可用的特征集合中选择一个最佳的划分特征。选择最佳特征的目标是使得划分后的子集更加纯净或者不确定性更低。(2)划分数据集根据最佳划分特征的取值，将数据集划分成多个子集。每个子集对应于划分特征的一个取值。划分后，对于每个子集，可以继续递归地应用上述步骤继续划分，直到满足停止条件。(3)停止条件树的生长过程中，需要设置一些停止条件，以决定是否继续划分。常见的停止条件包括：节点中的样本全部属于同一类别，达到树的最大深度，样本数小于设定的阈值等。当满足停止条件时，停止在当前节点进行划分，将该节点作为叶子节点。(4)递归生长树通过递归地应用上述步骤，不断划分数据集并构建子树，从而生长完整的决策树。在生长过程中，每个节点都会根据选择的最佳划分特征进行分裂，直到满足停止条件。

可以将连续特征转化为二元特征。例如，将特征的取值按照某个阈值进行切割，将其转化为二元特征（大于等于阈值和小于阈值）。可以将连续特征的值作为预测目标，使用回归方法进行建模。03可以选择多个切割点，将连续特征划分为多个值域。例如，将特征划分为三个区间（小于阈值、介于两个阈值之间、大于等于阈值）。02回归方法决策树算法的处理连续特征和缺失值多元切割二元切割01处理连续特征：

可以删除包含缺失值的样本。这种方法适用于缺失值数量较少的情况，但会导致数据损失。可以将缺失值视为特殊的取值，将其作为一个独立的类别或者一个新的取值来处理。03可以采用一些填充策略来替代缺失值。常见的方法包括使用平均值、中位数、众数或者使用插值方法（如线性插值、多项式插值、KNN插值等）来填充缺失值。02特殊标记决策树算法的处理连续特征和缺失值填充缺失值删除样本01处理缺失值：

决策树算法的多变量决策树多变量决策树（Multi-VariateDecisionTree）是一种决策树算法，它在节点划分时考虑多个特征的组合，而不是单个特征。多变量决策树通过考虑多个特征之间的组合来进行节点划分，以提高决策树算法的表达能力和决策能力。多变量决策树的主要思想是，在每个节点上，选择一个最佳的特征组合和对应的划分规则，将数据集按照该特征组合进行划分。

决策树算法的集成学习Bagging（自助聚集法）Boosting（提升法）RandomForest（随机森林）Extra-Trees（极端随机树）Bagging通过自助采样的方式从原始训练集中有放回地随机采样，生成多个子训练集。然后使用每个子训练集独立训练出一个决策树模型，并通过投票或平均等方式进行预测结果的整合。Boosting通过迭代的方式依次构建多个决策树模型。每一轮迭代，Boosting会调整样本的权重，将分类错误的样本更关注，从而使得后续的模型能更加重视这些难以分类的样本。最终的预测结果是多个模型的加权组合。随机森林是Bagging的一种特殊形式，它在构建决策树模型时，引入了随机属性选择的机制。在每个节点中，随机选择一部分特征进行划分，从而减小不同决策树之间的相关性，提高模型的泛化能力。极端随机树是随机森林的一种变体，它在构建决策树时，不仅随机选择划分属性，还对每个属性随机选择划分阈值。这样可以进一步增加树的多样性，降低树的相关性，提高模型的鲁棒性。