Data与AI的融合演进.docxVIP

Data与AI的融合演进

目录

01OneOps的理念与价值

02OneOps的实践场景

03WeData的OneOps实践

OneOps的理念与价

值

传统的数据平台在AI时代面临的挑战

数据开发和AI

数据开发和AI开发分离

?大数据和AI为两套独立系统，很难实现端到端的流程的样本清洗、存储、分析、训练、推理

存储、计算成本高

?数据需要在两套系统间来回流动

?大数据和AI的CPU、GPU算力无法复用

洞察：烟囱式架构造成成本和效率问题，一体化方案更有优势

面向数据工程+数据科学的OneOps方案

面向数据工程+数据科学的OneOps方案

一份数据、计算For数据分析和AI应用

更好的机器学习是80%的数据处理+20%的模型----吴恩达

OneOps可以解决什么问题

模型服务不可持续?

模型服务不可持续

?模型迭代并部署上线的速度无法及时响应业务需求的快速变更

?上线那一刻开始模型存在降级退化风险（数据漂移）

模型开发部署迭代周期长?Algorithmia

模型开发部署迭代

周期长

?Algorithmia2020：64%的企业部署一个新模型花费超过一个月的时间，其中18%的公司需要90天以上上线

AI工程化发展

工具

模型全生命周期缺乏统一管理

?代码、数据、算法、模型等资产缺乏统一的版本管理及可追溯能力

?企业在ML生产至应用过程中缺乏相应的规范

产品

产品

流程与协同

自动化程度较低

自动化程度较低

?存在较多手动流程，效率较低，人力成本大

?缺乏完善的监控和告警机制,无法在损害发生之前捕捉到错误，并及时修正

存在潜在风险?

存在潜在风险

?技术风险：不稳定的模型效果，脆弱的基础设施

?合规风险：违反政府监管规定和公司政策

跨团队协作困难

?不同团队的工具和工作流程差异大

?业务团队、运维团队和AI团队间的孤岛效应、沟通鸿沟无法逾越

OneOps如何推进：需要多角色共同参与

业务

负责人

数据

工程师

数据

科学家

研发

工程师

数据

管理员

--负责把控AI方案对于业务的价值

--构建数据工作流

--将业务问题转化为算法问题，训练、调优模型

--部署AI模型到生产环境

--负责保证数据管理和数据合规性

OneOps如何推进：各角色分别对不同环节负责

数据管理员

数据科学家数据

数据科学家

工程师

研发工程师

业务负责人

0

数据准备

132456

1

3

2

4

数据探索特征工程模型训练模型验证部署应用质量监控

OneOps的实践要点

版本管理评估与测试OneOps实践要点

版本管理

评估与测试

OneOps实践要点

数据/代码/配置/模型/超参数/流水线端到端集成测试,并支持非功能需求测试(安全性/公平性等)

数据/代码/配置/

模型/超参数/流水线

端到端集成测试,并支持非功能需求测试(安全性/公平性等)

2.以数据为中心，来实现AI的研发

3.以模块化平台的方式实现全生命周期的驱动：如数据探索,特征工程,模型训练,模型服务等

4.使用自动化流程实现持续训练、持续集成、持续交付

自动化可重现协同部署监控与迭代

自动化

可重现

协同部署

全流程高度自动化,如CI/CD/CT等特征库一致性/支持

全流程高度自动化,如CI/CD/CT等

特征库一致性/支持端边云部署

数据漂移/模型指标等监控

OneOps实践场景

金融行业--贷款申请场景

贷款申请是金融行业中的一个典型场景，我们将逐环节解释不同角色如何配合推进OneOps流程。

数据管理员

数据科学家数据

数据科学家

工程师

研发工程师

业务负责人

0

数据准备

132456

1

3

2

4

数据探索特征工程模型训练模型验证部署应用质量监控

金融行业--贷款申请审核场景

业务决策工作流

希望实现贷款自动化审核业务负责人收到汇报，营业部反馈：“贷款申请数量庞大，审核责任重大而且工作量非常繁重，希望能够利用AI提升效率和审核准确性”。

希望实现贷款自动化审核

为提升经营效率，业务负责人决