高校大数据实验室解决方案课件.ppt

大数据开发平台 解决方案 适用于大学，高职学生大数据教学实训 目 录 背 景 平台功能 职业教育 大数据和物联网教学解决方案提供商 中科院物联网研究中心物联网实验室合作伙伴 深圳大数据研究与应用协会合作伙伴 监控 采集 数据采集标准化 存储 大数据分析可视 化 传统物联网解决方案面临的挑战 应用层 矿业采掘 工业制造 职业教育 城市 管理 智能家居 智能交通 环境监测 石油化工 绿色农 业 能源管理 平台层 网络层 设备层 大数据是行业数据应用深入的必然趋势 价值链网络下的横向集 成 物理世界 端到端的数字化集 成 C PS 信息空间 工业 4.0 核心 网络化制造体系的纵向集成 大数据是一个庞大的技术体系 绿色农业 工业制造 职业教育 城市管理 健康医疗 只能家居 智能交通 环境监测 水利水务 大数据平台 目 录 背 景 平台功能 职业教育 产品服务构 架 组态展示 服务 CVS 过程数 据服务 PDS S 结构化 数据服 务 STS 开放数据存储服务 OTS S 列 1 列 2 列 3 … … 列 n 带时间戳的时序数据处理 ? ? ? ? 多协议的接入 网络高并发性 实时报警 历史统计 PDS 压缩 OSS — 对象存储服务 ? ? ? 结构化 压缩 音频 图纸 对象存储 图表 文档 半结构化 图片 非结构化 第三方数据接入 DTS 图像识别 非结构化数据接入 文本文件 半结构化数据接入 结构数据文本 结构化数据文件接入 大数据平台 关系数据库 ETL 接入 非结构化文件 FTP 接入 设备 过程数据接入 TSS+DAS —分布式环境下的大数据分析 计算分析领域 应 用 实时数据流处理 统计分析 算法优化 机器学习 计算分析引擎 工 具 分布式资源管理 计 算 任务 调 度 YARN 实时流数据处理 引 擎 Storm 离线分布式 计算引擎 M a p/Reduc e CPU = 4 M EM = 40 0 在线分布式 计 算引擎 Spark CPU = 2 M EM = 20 0 R 语言 MATLA B 深度学习 算 法框架 Caffe CPU = 2 M EM = 20 0 CPU = 6 M EM = 100 0 分布式大数据 存储引擎 Hadoop HDFS/Hbas e 数据节点 数据节点 数据节点 数据节点 数据节点 数据节点 数据节点 计算任务开发的新模式 ? 算 配置数学公式实现大数据计 可视化服务 CVS+ W LS 纯 BS 方式展示，无插件 可视化 拖拽方式搭建画面， 0 编程 自适应分辨率，跨平台 W LS- 信息化页面组件服务 W LS — 设计器 CVS- 组 态展示服务 CVS- 设 计器 CVS- 组 态展示服务 可扩展 方便发布 矢量图 对接多种数据源 实时监控 便捷的私有云部署和管理 目 录 背 景 平台功能 职业教育 大数据职业教育误区 ? ? ? ? 主流技术路线是什么？怎么选？ 技术构件众多，如何组合？ 大数据分析领域应该聚焦在哪里？ 职业教育中如何选择企业真正关 心的大数据？ ? ? ? ? 大数据如何产生？ 大数据如何存储？ 大数据如何分析？ 大数据如何展示？ 大数据技术学习路径 ? 数据采集技术 传统工业协议数据采集、物联网网关数据采集、日志聚合数据采集、 关系数据 E T L 采集 ? 数据存储 检索技术 Hadoop 生态体系、 HBase 、 Sparc 、 kafka 、 zookeeper 、 MapReduce 、 Solr 等主流大数据技术 ? 数据分析技术 Hive 、 Impala 、分布式关系数据库、数据仓库、 R 语言等技术 ?