大数据分析方法流程最佳实践.pdf

大数据分析方法流程最佳实践 技术创新，变革未来 目录 大数据分析框架 数据分析方法 数据理解数据准备 分类与回归 聚类分析 关联分析 时序模型 结构优化 数据分析支撑工具 2 数据分析标准流程 CRISP-DM为90年代由SIG组织（当时）提出，已被业界广泛认可的数据分析流程。 1.业务理解(business understanding） 确定目标、明确分析需求 2.数据理解（data understanding） 收集原始数据、描述数据、探索数据、检验数据质量 3.数据准备(data preparation) 选择数据、清洗数据、构造数据、整合数据、格式化 数据 4.建立模型(modeling） 选择建模技术、参数调优、生成测试计划、构建模型 5.评估模型(evaluation) 对模型进行较为全面的评价，评价结果、重审过程 6.部署(deployment) 分析结果应用 3 大数据分析框架 业务理解 数据理解 数据准备 建立模型 模型评估 应用 理解业务背景， 数据收集 数据探索 选择方法、工 建模过程评估 分析结果应用 评估分析需求 数据清洗 数据转换 具，建立模型 模型结果评估 分析模型改进 • 理解业务背景： • 数据收集： • 探索数据： • 建立模型： • 建模过程评估： • 结果应用： 数据分析的本质 抽取的数据必须能 运用统计方法对数 综合考虑业务需求 对模型的精度、 将模型应用于 是服务于业务需 够正确反映业务需 据进行探索，发现 精度、数据情况、 准确性、效率和 业务实践，才 求，如果没有业 求，否则分析结论 数据内部规律。 花费成本等因素， 通用性进行评 能实现数据分 会对业务将造成误 选择最合适的模型。 估。， 析的真正价值： 务理解，缺乏业 导。 • 数据转换： 在实践中对于一个 产生商业价值 务指导，会导致 分析无法落地。 • 数据清洗： 为了达到模型的输 分析目的，往往运 • 模型结果评估： 和解决业务问 入数据要求，需要 用多个模型，然后 评估是否有遗漏 题。 • 评估业务需求： 原始数据中存在数 对数据进行转换， 通过后续的模型评 的业务，模型结 据缺失和坏数据， 包括生成衍生变量、 估，进行优化、调 果是否回答了当 • 模型改进： 判断分析需求是 如果不处理会导致 一致化、标准化等。 整，以寻求最合适 初的业务问题， 对模型应用效 否可以转换为数 模型失效，因此对 的模型。 需要结合业务专 果的及时跟踪 据分析项目，某 数据通过过滤“去 家进行评估。 和反馈，以便