机器学习项目流程.pdfVIP

1 机器学习-机器学习项目流程 黄海广 副教授 2021年06月 本章目录 2 01 机器学习项目流程概述 02 数据清洗 03 特征工程 04 数据建模 1.机器学习项目流程概述 3 01 机器学习项目流程概述 02 数据清洗 03 特征工程 04 数据建模 机器学习的一般步骤 4 机器学习的一般步骤 5 数据搜集 数据清洗 特征工程 数据建模 机器学习的一般步骤 6 数据搜集 数据清洗 特征工程 数据建模 • 基于性能指标比较几种机 • 网络下载 • 数据清理和格式化 • 特征工程 器学习模型 • 网络爬虫 • 探索性数据分析(EDA) • 特征选择 • 对最佳模型执行超参数调 • 数据库读取 整 • 开放数据 • 在测试集上评估最佳模型 • …… • 解释模型结果 • 得出结论 2.数据清洗 7 01 机器学习项目流程概述 02 数据清洗 03 特征工程 04 数据建模 2.数据清洗 8 什么是数据清洗？ 数据清洗是指发现并纠正数据文件中可识别的错误的最后一道程序，包 括检查数据一致性，处理无效值和缺失值等。与问卷审核不同，录入后 的数据清理一般是由计算机而不是人工完成。 2.数据清洗 9 数据清理原理 拼写错误 不合法值 脏数据 命名习惯 空 值 数理统计技术 异常检测 数据清理策略、规则 数据挖掘技术