工业互联网大数据平台建设方案精品课件.pptVIP

2021/8/23 精品 PPT 可修改 精品 PPT 可修改 精品 PPT 可修改 精品 PPT 可修改 精品 PPT 可修改 精品 PPT 可修改 精品 PPT 可修改 精品 PPT 可修改 精品 PPT 可修改 精品 PPT 可修改 精品 PPT 可修改 精品 PPT 可修改 2021/8/23 数据采集--批量数据接入处理 2021/8/23 交互式查询 实时 在线处理 实时 流处理 批处理 基于spark和hadoop的计算模型，同时支持批处理、交互式处理、流处理。 技术架构解决方案 批处理应用 （分钟级别~小时级别） OLTP/在线事务处理应用 （毫秒~秒级别） OLAP/在线交互式分析应用 （秒级别） 实时流处理 （持续不断） 2021/8/23 技术架构解决方案 通常的时间跨度在数十秒到数分钟之间 按数据维度进行统计、聚合 根据历史数据进行拟合和预测 计算数据之间的相关性和模式等 适合提供高速在线分析服 典型应用场景 政府各部门数据 证券交易 银行保险 企业ERP/CRM等 适用于数据量在GB到TB的高速数据分析 通常的时间跨度在数百毫秒到数秒之间 数据来源多、高并发、数据处理量达 分析结果快速响应 典型应用场景 社交网络分析、关联关系分析 用户分类、用户行为预测 高并发查询 按主键毫秒级检索 按多维度秒级检索 按照关键字秒级检索 交互式查询 实时在线处理 2021/8/23 HDFS：分布式文件系统 有较强的容错性 可在x86平台上运行，减少总体成本 可扩展，能构建大规模的应用 HBase：非结构化NoSQl分布式数据库 基于分布式文件系统HDFS，保证数据安全 列式存储，节省存储空间 提供大数据量的高速读写操作 Hive：分布式关系型数据库 数据可保存在HDFS，可提供海量的数据存储 类SQL的查询语句，提供大数据的统计和分析操作，适合海量数据的批处理 通过MapReduce实现大规划并行计算 MapReduce：大规划并行计算引擎 可将任务分布并行运行在一个集群服务器中 Hadoop平台提供了海量数据的分布式存储与处理的框架。基于服务器本地的计算与存储资源， Hadoop集群可以扩展到上千台服务器。同时，Hadoop在设计时充分考虑了硬件设备的不可靠因素，在软件层面提供数据和计算的高可靠保证。 大数据平台： Hadoop主要功能 HBase MapReduce Hive HDFS 快速的数据读取 大数据存储统计 复杂计算并行处理 2021/8/23 技术基础研究方向 研究方向 关键任务 制高点 大数据 可视化挖掘 1）新型内存迭代数据挖掘算法 2）数据挖掘可视化开发平台 3）房地产、金融、电信等机器学习模型研究 1）基于内存计算的机器学习算法 2）行业大数据深度机器学习模型 3）大数据可视化挖掘 大数据 内存计算 1）基于内存的迭代算法研究 2）内存大数据高速统计分析技术 1）基于大数据内存的计算技术 2）国内产品领先 大数据语 义分析 1）大数据自然语言识别 2）非结构化数据的知识发现、集成技术 大数据平台的可视化集成目前是空白领域 大数据 云计算技术 1）大数据云计算平台技术 2）商业智能云平台技术 1）云BI技术及大数据平台的核心技术研究 2）大数据云BI在国内应用是未来趋势，有望建成国内第一家云BI平台 -技术基础研究方向 2021/8/23 背景介绍 调查分析 平台建设 云平台总体架构 大数据平台介绍 大数据平台应用 模型算法介绍 Contents 目 录 2021/8/23 大数据平台应用--资产管理服务 2021/8/23 大数据平台应用--数据管理与服务 2021/8/23 大数据平台应用--数据分析服务 2021/8/23 大数据平台应用--数据安全服务 2021/8/23 大数据平台应用--数据展示 2021/8/23 9、 人的价值，在招收诱惑的一瞬间被决定。*** 10、低头要有勇气，抬头要有低气。**** 11、人总是珍惜为得到。***** 12、人乱于心，不宽余请。**** 13、生气是拿别人做错的事来惩罚自己。***** 14、抱最大的希望，作最大的努力。**** 15、一个人炫耀什么，说明他内心缺少什么。。***** 16、业余生活要有意义，不要越轨。*** 17、一个人即使已登上顶峰，也仍要自强不息。**** 谢谢大家 9、 人的价值，在招收诱惑的一瞬间被决定。*** 10、低头要有勇气，抬头要有低气。**** 11、人总是珍惜为得到。***** 12、人乱于心，不宽余请。**** 13、生气是拿别人做错的事来惩罚自