大数据应用实施过程作业指导书Yhw .pdfVIP

⼤数据应⽤实施过程作业指导书Yhw

数据模型应⽤过程作业指导书

⼀、总览

1.数据模型应⽤过程概述

数据模型应⽤过程是应⽤数据科学理论、⽅法、技术和⼯具，对外⽴⾜于服务政府精准施策和经济发展，对内⽴⾜于服务公司经营管理⽔平提升，依托实际数据应⽤需求，围绕重点领

域开展数据模型应⽤，深挖数据价值并形成各类⾼价值数据应⽤成果的⼯作过程。

2.数据模型应⽤过程内容

数据模型标准应⽤过程主要包括：业务设计、数据准备、模型构建、业务场景验证、模型迭代优化、成果固化、应⽤评估、推⼴共享8个阶段。

业务设计。调研厘清要解决的现有业务流程及管理现状痛点问题，提炼确定数据模型应⽤需求，依据业务实际和关联关系，梳理业务需求实现的关键点，明确建模依据的业务理论，以

业务视⾓凝炼合适的模型思路及技术实现路线。

数据准备。针对数据应⽤需求涉及的数据项、关联规则、映射关系、来源系统、获取⽅式等，溯源梳理形成数据需求表。严格按照数据取⽤流程及脱敏要求提取所需数据，分析数据整

体趋势、分布情况、规律特征、变量间相关关系，运⽤各种技术⼿段进⾏数据清洗、转换、集成、规约，形成准确可⽤的数据分析宽表，将其作为数据模型的输⼊源。

模型构建。基于业务实现逻辑及数据情况，框定算法范围，通过算法之间优劣对⽐分析，开展算法择优选型，构建相应的算法模型，提取数据样本，适应性调整测试集、验证集⽐例以

及模型参数，完成模型训练及构建。

业务场景验证。基于全量数据进⾏模型计算及结果输出，结合业务场景实际，设计数据验证表反馈格式，进⾏数据验证，收集验证结果，统计模型准确率、召回率，验证评估模型的准

确性及适⽤性。

模型迭代优化。根据模型业务验证的可⾏性、合理性、准确性等评价反馈，算法⼈员对算法模型开展迭代优化，以满⾜模型应⽤要求。

成果固化。根据数据应⽤需求、服务对象需求，将数据模型应⽤过程结果通过不同形式进⾏输出，形成应⽤⼯具类、⼤数据集类、算法模型类、智慧决策类等应⽤成果。

应⽤评估。评估数据模型应⽤成果对公司运营的效率、效益、质量、社会价值等绩效⽔平的提升情况，对各专业数据及技术领域的⽀撑推动情况，对成果本⾝实际运⾏的可⽤性、有效

性、实⽤性以及效率、效益情况等。

推⼴共享。以发挥数据应⽤价值为⽬标，对数据模型应⽤成果进⾏优选，提炼总结相应经验⽅法，形成有价值、可落地的数据应⽤成果，进⾏运营推⼴和价值转化。

3.适⽤范围

本规范适⽤于公司各部门及下属单位开展数据模型应⽤。⼆、业务设计

业务设计阶段主要包括梳理应⽤需求、设计建模思路等内容。

1.梳理应⽤需求

（1）应⽤需求调研

以确定应⽤需求为⽬标，从业务需求及数据需求两⽅⾯开展需求调研。

业务调研。调研上下游业务部门，确定现有业务流程及管理现状痛点问题，明确各业务条线的互动关系，调研发现业务⼈员隐藏的业务需求及瓶颈，最终提炼数据应⽤需求。

数据调研。调研影响因⼦、来源系统、数据存储情况、数据采集周期、数据频度、数据量，调研发现数据获取问题、数据质量问题。

（2）明确应⽤⽬标

通过应⽤需求调研情况，确定数据应⽤要实现的业务⽬标。包括且不限于业务规模扩⼤、成本节约、效率提升、安全提升、质量提升等。

2.设计建模思路

（1）业务建模逻辑研讨

根据梳理确定的应⽤需求，以业务⼈员为主深⼊掌握业务主线流程环节、业务规则及其他内在业务关联逻辑，提出建模业务依据，数据应⽤需求⽅会同业务⼈员、算法⼈员，对建模依

据的业务理论、技术⽅法进⾏模型化梳理研讨。最终确定建模业务实现逻辑。

（2）确定技术建模路线

依据建模业务实现逻辑，以分析挖掘⼈员、算法⼈员、数据

⽀撑⼈员为主深⼊探讨建模技术路线，明确应⽤需求在数据科学领域的问题分类，框定算法范围，确定技术实现路线。

表1：XXX建模思路⽰例

1.数据溯源

（1）梳理数据需求

根据业务设计需要，由业务⼈员、分析挖掘⼈员、算法⼈员、数据⽀撑⼈员多⽅研讨，梳理整合形成数据应⽤需求表。数据需求表须包含数据模型应⽤所需的所有字段，并注明字段格

式及填

写要求（业务含义、内外部数据、来源系统、数据频度、数据类型、数据格式、数据精度、数据取值范围等）。

表2：XXX模型数据需求项划分

内部数据

外部数据

线上数据线下数据

结构化数据⾮结构

化数据

结构化

数据

⾮结构

化数据

结构化数据⾮结构化数据

数据格式、存储路径；

对于线下数据，明确数据格式、管理部门及负责⼈员；

对于外部数据，通过公司数据归⼝管理部门掌握的外部数据清册，查询是否存在符合所需内容、统计⼝径、时间范围的数据，明确数据格式、管理部门及负责⼈员。

2.数据获取

按照数据溯源情况，数据⼈员从对应数据来源获取数据。数据