IAS2017- 机器学习平台的架构设计.pptxVIP

通用机器学习平台的架构设计 杨俊 星环科技人工智能产品总监 www.transwarp.io 2017/12/03 关于星环科技 Velocity Variety Volume Value 愿景：解决客户难题，普及大数据和人工智能 第二代神经网络出现，统计方法 相关技术发展趋势 网络资源访问 各种云服务应用 1970s~1980s 云计算 开源技术迅速发展，各大云计算平台涌现 云概念被提出 2008年 2015年~2017年 2010年~2015年 分布式理论 开源技术迅速发展，商业发行版涌现 大数据 人工智能 1970s~1980s 各种大数据应用普及 Hadoop项目诞生 2008年 2009年~2016年 2016年~2017年 1980s~1990s 深度学习 重新升温 2006年 深度学习ImageNet获胜 2012年 开源技术迅速发展，工具平台涌现 2012年~2017年 人工智能框架ABC 云计算应用平台 用户画像 机器学习/深度学习平台 数据仓库 Inceptor 云 C 大数据 平台TDC B A 人工智能平台Sophon 计算资源CPU/GPU AI芯片 存储 网络 OLAP Holodesk OLTP KunDB 图数据库 Graphene 流引擎 Slipstream NewSQL Hyperbase 搜索引擎 Search 框架层 算法层 应用层 分布式机器学习框架 深度学习框架 基础算法 语音处理 计算机视觉 自然语言处理 推荐 精准营销 实时风控 流失预警 时序分析 知识图谱 智能客服 智能投顾 智能投研 图片分类 舆情监控 物体识别 图片搜索 视频识别 语义搜索 机器学习平台框架设计 Application Analyst Spark Training Facade Flow mgr Predicting Facade Visualization Facade Tensorflow Cache MySQL ES Redis Storage Service Executor Pipeline DNN Model Project Dataset Code 存在的几个问题 如何进行混搭的部署管理？ 如何进行有效的资源管控？ 如何有效管理短时服务和长时服务？ 如何统一存储管理？ 如何统一深度学习框架？ 如何保证预测服务实时性以及半实时模型更新？ CPU Cluster YARN Pod YARN Pod YARN Pod YARN Pod GPU Cluster TensorFlow PS Pod TensorFlow PS Pod TensorFlow Worker Pod TensorFlow Worker Pod Sophon Service Pod Kubernetes ServiceMgr TaskMgr Spark Driver Pod TensorFlow Driver Pod 虚拟化容器之混搭部署 CPU Cluster GPU Cluster1 GPU Cluster2 Group1 Guardian UserMgr QuotaMgr Sophon Service Group2 User1 in Group1 User1 多租户及资源管控 虚拟化容器之微服务 Dataset Service Model Service Code Service Predicting API Service Kubernetes App Manager Service Registry Load Balancer Kong Gateway Flow Service Pod Job 统一的存储层 HBase Client JDBC Client 数据接口层 数据缓存层 Model Project Dataset Code Redis Client Graphene Client HBase Redis Graphene TXSQL TDH MySQL 通用深度学习架构 模型训练流程图 训练好的模型 统一的算法接口层 Hubble 图翻译器 图优化器 数据转换器 模型转换器 TensorFlow MXNet 静态支持 翻译器 优化器 数据/模型转换器 翻译器 优化器 数据/模型转换器 统一的算法执行层 运行时支持 Hubble 状态管理器 资源控制器 消息总线 任务调度器 TensorFlow 状态管理器 任务管理器 消息收发 MXNet 状态管理器 任务管理器 消息收发 预测过的数据 模型半实时更新 Training Service PMML Object TF Model Model Manager Object with DAG Slipstream Restful App API Service