新能源汽车大数据分析与应用技术 第2版 第三章 新能源汽车大数据存储与计算.ppt

公众服务系统介绍信息发布与共享政务数据共享目标主要面向政府、企业和市民提供新能源汽车相关新闻、政策指南、最新动态、新能源建设统计数据、车企平台接入指南等资讯信息。公众服务系统通过后台管理系统、门户网站、微信公众号等方式实现新能源汽车信息编辑、管理、发布等功能，充分加强监管、服务公众等职责。打造一个良好的监管、服务、产业链支持的运行环境，同时服务大众、为大众提供需要的信息，实现“数据共享＂的政务目标。新能源汽车公众服务系统统一数据存储通过数据分析功能和任务调度模块对多种大量的业务数据进行统计分析和挖掘分析，为车辆监管、行业管理、公众服务、可视化应用系统提供数据支撑。数据支撑与应用政策规划的数据支撑向政府制定政策和建设发展规划提供数据支撑，助力科学决策和规划。将充电桩故障信息、充电信息、车辆充电量/时长等历史数据以及充电桩状态信息、位置信息等数据存储于统一分布式数据库，实现数据互通。新能源汽车充电设施监管系统车辆数据实时采集支撑公共车辆的分类统一管理，对车辆运行数据、位置数据、电池数据、电机数据进行实时采集。GIS地图综合展示系统主要功能基于GIS地图对相关信息进行综合展示，并以此为基础全面展开新能源汽车安全监管的数字化与智能化。包括权限基础数据管理、车辆信息管理、零配件信息管理、故障警告、监控分析、单车监控、车辆在线、历史轨迹、报文分析、明细数据查询、补贴管理。123新能源汽车充电设施监管系统平台数据集成的技术大数据存储的挑战大数据发展的挑战分布式存储的优势大数据存储的要求平台数据集成为存储挑战，需要采用数据库技术、大数据技术和云计算技术进行集成与存储。大数据存储的挑战有数据量大、数据增速快、数据形式复杂以及实时性要求高。数据存储和处理是大数据发展面临的挑战之一，需要分布式存储系统来承载海量数据。分布式存储系统可以承载海量的数据，并提供可管理性，但不需保证数据的安全性和一致性。大数据存储的挑战主要包括数据量大、数据增速快、数据形式复杂以及实时性要求高。平台数据集成为存储挑战MapReduce的工作原理MapReduce是一种编程模型和处理大规模数据集的计算模型，通过映射和归约两个步骤来处理数据。03在分布式存储系统中，数据一致性和可用性通过数据复制、分区和共识算法等技术手段来确保。02数据一致性的确保关系数据库的区别关系数据库和时序数据库在大数据存储中的主要区别在于时序数据库专门用于存储时间序列数据。01分布式存储承载海量数据新能源汽车行业利用大数据预处理技术可以有效提升新能源汽车软硬件水平与各项数据的监管质量。大数据的预处理借助大数据预处理技术也可以进一步保证新能源汽车各方面数据的准确性，为开展数据分析和管理工作奠定基础。预处理技术的融合新能源汽车数据预处理工作包括对原始数据采集的预处理和数据平台；计算模块的预判处理，解决掉帧、错帧等问题。原始数据的预处理大数据存储挑战与解决方案01预处理提升数据准确性大数据预处理技术在提升新能源汽车软硬件水平与数据监管质量方面发挥着关键作用，通过优化数据采集、存储和处理流程，确保数据的准确性和完整性。02正负数据、精度校正在数据采集环节，通过正负数据校正、精度调整和异常数据过滤等技术手段，确保数据的准确性和可靠性，为新能源汽车软硬件的优化提供有力支持。新能源汽车数据预处理技术掉帧和错帧问题的解决新能源汽车在数据传输过程中可能会遇到掉帧和错帧问题，大数据预处理技术通过采用高效编码、错误检测和自动修正算法等解决方案。数据缺失值填充与数据清洗在数据预处理完成后，下一步是对数据进行深度分析和处理，数据缺失值填充和数据清洗在新能源汽车数据分析中用于处理不完整或异常的数据。大数据存储技术的选择新能源汽车行业的数据存储通常依赖自建或租用云平台，国家新能源大数据平台采用HDFS分散式数据文件和Parquet格式存储，满足行业发展需求。新能源汽车数据平台的发展随着新能源汽车行业的发展，对数据平台的需求也在不断增加，未来国家新能源大数据平台应拓展存储规模，确保数据安全、可靠和高效。国家新能源大数据平台存储拓展感谢聆听InfluxDB的架构由多个组件组成，包括存储引擎、查询引擎、HTTPAPI等。存储引擎负责数据的存储和管理，使用了一种TSM(TimeStructuredMergeTree)存储引擎，按时间序列组织和存储数据，以提高查询效率和降低存储成本。同时，支持数据的压缩和分片存储，以适应不同的存储需求和硬件配置。查询引擎提供了强大的查询语言InfluxQL,支持丰富的查询操作和函数，用户可以通过简单的查询语旬进行时序数据的灵活分析和统计，还支持连续查询和数据