商务数据挖掘介绍(教授制作)ln学习指导书.pptVIP

5.2.6 标准化数据 一些算法要求在实施算法之前把数据进行标准化。标准化的方法是减去均值再除以标准差。 5.数据准备 5.2预处理数据和清理数据 5.3 划分数据 在有约束学习算法里，预测或分类模型在用于新数据时效果如何评价? 我们对比较各种模型的性能特别感兴趣，因为这样我们就可以选择一个最佳的模型装配到实际系统中。 选择在现有数据上对结果变量进行分类或预测表现最好的模型，这个策略是最好的吗？ 5.数据准备 5.3.1 训练数据 通常是划分出的最大数据集合，这部分数据用于建立我们要考察的各种模型。这些模型通常是建立在同一个训练数据集合上。 5.3.2 验证数据 这部分数据用于评价每一个模型的性能，你可以比较这些模型并选择一个最佳模型。 5.3 划分数据 5.数据准备 5.3.3 测试数据 这一部分数据是用于评价被选择的最佳模型在新数据上的性能。 为什么既有验证数据还要有测试数据呢？当我们使用验证数据比较多个模型并挑选出在验证数据上表现最好的模型时，我们有遇到了过分拟和问题－有可能被选择模型刚好对验证数据匹配最好。 5.数据准备 5.3 划分数据 6.建立模型－线性回归的一个例子 目的 预测波士顿居民区域的房屋中间值。 2. 获取数据 我们将使用波士顿房屋统计数据。因为给出的数据集合很小，所以我们不需要从中采样――我们可以把数据全都用上。 3. 探索、清理