第7章 输入建模.pptx

第7章输入建模by文库LJ佬2024-06-08

CONTENTS数据收集与预处理模型选择与训练模型评估与验证模型调优与优化模型部署与监控

01数据收集与预处理

数据收集与预处理数据收集与预处理数据清洗：

数据清洗流程概述。特征工程：

特征构建和特征选择方法介绍。

缺失值处理:

采用插值法填充缺失值，确保数据完整性。

异常值处理:

使用3σ原则或箱线图检测异常值，并进行修正。

重复值处理:

去除重复记录，避免数据冗余。

数据格式化:

将数据统一格式，便于后续处理。

特征选择:

采用相关性分析等方法选择与目标变量相关的特征。

特征工程特征构建:

利用原始数据构建新的特征，提高模型性能。特征转换:

对特征进行数值变换或标准化，消除量纲影响。特征选择:

基于统计方法或机器学习模型选择最相关的特征子集。降维技术:

使用PCA或LDA等方法降低特征维度，减少计算复杂度。

02模型选择与训练

模型选择与训练模型选择：

常用的输入建模模型介绍。

模型训练：

模型训练流程及调参方法。

模型选择线性回归:

适用于线性关系建模，模型简单但对数据要求较高。决策树:

基于树结构进行分类和回归，易解释性好。神经网络:

复杂模式识别能力强，但参数调优和训练时间较长。支持向量机:

适用于小样本高维度数据，分类效果好但计算复杂度高。集成学习:

结合多个基学习器，提高模型泛化能力。

模型训练数据划分:

将数据集划分为训练集、验证集和测试集。模型训练:

使用训练集进行模型拟合，选择合适的损失函数和优化算法。超参数调优:

通过交叉验证等方法调整模型参数，提高模型性能。模型评估:

在验证集上评估模型性能，选择最优模型。模型融合:

将多个模型结果进行组合，提高预测准确率。

03模型评估与验证

评估指标：

常用的模型评估指标介绍。交叉验证：

交叉验证方法及其作用。

评估指标评估指标准确率:

分类模型的正确率。精确率:

正类别预测的准确率。召回率:

正类别样本被正确预测的比例。F1值:

精确率和召回率的调和平均数。AUC值:

ROC曲线下的面积，用于评估二分类模型性能。

交叉验证k折交叉验证:

将数据集分成k个子集，依次使用其中一个子集作为验证集，其余作为训练集。留一交叉验证:

每次只留下一个样本作为验证集，其余作为训练集。交叉验证的意义:

评估模型泛化能力，减少过拟合风险，选择最优模型参数。

04模型调优与优化

模型调优与优化模型调优与优化参数调优：

调整模型参数的方法。集成学习：

常用的集成学习方法介绍。

参数调优网格搜索:

遍历给定的参数组合，选择使模型性能最优的参数。随机搜索:

在给定的参数空间中随机采样，加速参数搜索过程。贝叶斯优化:

基于先验知识调整参数搜索的方向，提高搜索效率。

集成学习Bagging:

通过自助采样构建多个子模型，减少方差。Boosting:

依次训练多个弱分类器，每次调整样本权重，提高模型性能。Stacking:

将不同模型的预测结果作为新特征，训练元模型进行最终预测。

05模型部署与监控

模型部署与监控模型部署：

将训练好的模型应用于实际业务场景。模型监控：

监控模型性能和数据偏移情况。

模型部署模型部署模型导出:

将模型序列化为可部署的格式，如PMML或ONNX。模型封装:

将模型与预处理流程打包成服务，提供API供客户调用。性能测试:

对部署的模型进行性能测试，确保满足实时推理需求。

模型监控性能指标监控:

实时监控模型的准确率、响应时间等性能指标。

数据监测:

检测输入数据的分布变化和异常值，及时更新模型。

日志记录:

记录模型推理过程中的日志信息，方便排查问题和优化模型。

THEENDTHANKS