大数据分析方法流程最佳实践.pdf

  1. 1、本文档共62页,可阅读全部内容。
  2. 2、原创力文档(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
  3. 3、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载
  4. 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
查看更多
大数据分析方法流程最佳实践 技术创新,变革未来 目录 大数据分析框架 数据分析方法 数据理解数据准备 分类与回归 聚类分析 关联分析 时序模型 结构优化 数据分析支撑工具 2 数据分析标准流程 CRISP-DM为90年代由SIG组织(当时)提出,已被业界广泛认可的数据分析流程。 1.业务理解(business understanding) 确定目标、明确分析需求 2.数据理解(data understanding) 收集原始数据、描述数据、探索数据、检验数据质量 3.数据准备(data preparation) 选择数据、清洗数据、构造数据、整合数据、格式化 数据 4.建立模型(modeling) 选择建模技术、参数调优、生成测试计划、构建模型 5.评估模型(evaluation) 对模型进行较为全面的评价,评价结果、重审过程 6.部署(deployment) 分析结果应用 3 大数据分析框架 业务理解 数据理解 数据准备 建立模型 模型评估 应用 理解业务背景, 数据收集 数据探索 选择方法、工 建模过程评估 分析结果应用 评估分析需求 数据清洗 数据转换 具,建立模型 模型结果评估 分析模型改进 • 理解业务背景: • 数据收集: • 探索数据: • 建立模型: • 建模过程评估: • 结果应用: 数据分析的本质 抽取的数据必须能 运用统计方法对数 综合考虑业务需求 对模型的精度、 将模型应用于 是服务于业务需 够正确反映业务需 据进行探索,发现 精度、数据情况、 准确性、效率和 业务实践,才 求,如果没有业 求,否则分析结论 数据内部规律。 花费成本等因素, 通用性进行评 能实现数据分 会对业务将造成误 选择最合适的模型。 估。, 析的真正价值: 务理解,缺乏业 导。 • 数据转换: 在实践中对于一个 产生商业价值 务指导,会导致 分析无法落地。 • 数据清洗: 为了达到模型的输 分析目的,往往运 • 模型结果评估: 和解决业务问 入数据要求,需要 用多个模型,然后 评估是否有遗漏 题。 • 评估业务需求: 原始数据中存在数 对数据进行转换, 通过后续的模型评 的业务,模型结 据缺失和坏数据, 包括生成衍生变量、 估,进行优化、调 果是否回答了当 • 模型改进: 判断分析需求是 如果不处理会导致 一致化、标准化等。 整,以寻求最合适 初的业务问题, 对模型应用效 否可以转换为数 模型失效,因此对 的模型。 需要结合业务专 果的及时跟踪 据分析项目,某 数据通过过滤“去 家进行评估。 和反馈,以便

文档评论(0)

智慧IT + 关注
实名认证
内容提供者

微软售前技术专家持证人

生命在于奋斗,技术在于分享!

领域认证该用户于2023年09月10日上传了微软售前技术专家

1亿VIP精品文档

相关文档