大数据分析挖掘平台Jarvis-技术与实践_2.0.pdfVIP

⼤数据分析挖掘平台Jarvis 技术与实践 ⼤数据基础套件- 鲁班 Data Analytics Studio (Jarvis) 交互式数据分析与挖掘 Data Factory Data Warehouse 批量流式数据处理 数据仓库 Data Transfer 数据采集传输 Jarvis 背景和意义 背景 意义 多环节繁琐不连贯 可视化管理全流程 ⾃建集群维护复杂成本⾼ 云托管服务⽅便扩缩容 特征⼯程及调参枯燥耗时 ⾃动建模提⾼效率降低⻔槛 从零建模需较深⾏业知识 预置⾏业通⽤解决⽅案 Jarvis 技术栈 Jupyter Zeppelin Form UI API/SDK 代码式交互建模 混合式交互建模 表单式交互建模 编程接⼝ Rich Libraries AutoML Model Management Model Deploying 丰富的垂类算法库 ⼀键⾃动学习 模型管理 模型部署 Data Process Feature Engineering Machine Learning Deep Learning 数据处理 特征⼯程 ⾼性能机器学习 Paddle等深度学习 Embedded Compute and Storage External Compute and Storage 内嵌的计算和存储 外接的计算和存储 可视化管理 管理数据科学全流程 数据连接 数据准备 数据分析 挖掘建模 模型部署 流程监控 访问公有云或 数据清理、准 使⽤Spark 处 内嵌算法，预 模型部署成服 监控整个⼯作 私有云、结构 备，集成⽂ 理数据，使⽤ 置垂类解决⽅ 务，可动态扩 流程，新数据 化或⾮结构化 本、图⽚等类 SQL 语句交互 案，集成特征 缩容，快速测 触发⾃动重训 数据，⽀持多 型数据预处 式查询分析， ⼯程 、ML 算 试模型效果， 流程，调试， 种来源（BOS/ 理，交互式数 ⽀持P级数据， ⼦算法，部分 对外发布服务 报表，权限与 HDFS/MySQL 据处理 可视化数据探 场景含预训练 安全管理 等） 查 模型