滑坡应用大数据后台建设方案.pptxVIP

滑坡卫士物联网大数据后台建设方案 江苏鼎业信息技术有限公司 目录 建设目标 协助培养出一支拥有物联网核心技术、具备大数据开发和运维能力的团队。 团队建设目标 平台性能目标 百万级终端并发 泛连接终端接入 99.9%高可靠应用 百万级/秒消息处理能力 TB级数据处理 技术路线及架构 4 应用层 WEB 应用 APP 应用 基于.NET技术平台、MVC设计模式、SOA设计架构 Bootstrap、AngularJS前端JS框架+Echarts图表组件 Nhibernate ORM技术，简化数据库操作，支持多数据库应用 低耦合、高复用，适合团队的协同开发 网络带宽和服务器资源消耗是传统WEB应用程序的一半 组件式、模块化设计，可以快速开发新的应用。 各种前端主流组件的集成，全面提高了用户的应用体验 支持多语言本地化应用，全面兼容各类主流数据库系统 采用H5开发技术，MUI应用框架，实现一套代码，多端发布 使用H5+Runtime手机应用引擎技术，让APP应用达到原生水平 新一代流应用的技术，让APP可5秒内完成下载、启动应用。 一次开发，多端发布，效率大幅提升，成本大幅下降 40万API调用，开发迭代更快捷、达到原生应用水平 使用流应用，5秒内完成程序安装，用户体验大幅提升 为用户应用节省流量、节省空间，节省电量 平台层 数据接入子系统 数据处理子系统 基于新一代大数据应用的物联网平台，采用了分布式集群、负载均衡、双机热备及Hadooop大数据技术，具有高性能、高可用、易扩展等特点，涵盖了物联网应用的各个环节。 数据存储子系统 数据交换子系统 技术路线及架构 技术路线及架构 6 数据接入 LVS负载均衡 数据网关处理 LVS软件负载均衡技术，DR工作模式、LC调度算法，将大量的并发平均分布在多台设备上 消息中间件 Keepalived+LVS轻量级双机热备解决方案，避免出现单点故障 基于高性能网络框架Netty开发,具用高并发、高可靠性、可定制性的功能特点 支持TCP、UDP、HTTP、Websocket、MQTT、JSON多种通讯协议。 按照业务需要，将编解码、协议解进行抽象，实现了各种终端协议的泛接入。 通过消息中间件Kafka实现系统之间的功能解耦，实现每秒数十万的消息处理 利用Kafka自身的机制，实现消息处理的高可用及水平扩展 数据处理 实时计算 离线计算 使用行业优秀的Storm流式处理框架（如淘宝），对Kafka写入的原始数据进行实时分析处理，解析位置、工况、报警信息，并写入Kafka和Redis，消息的处理可以达到毫秒级的延迟。 系统同时支持MapReduce 和Spark两种高性能的批处理分布式计算框架，可以对海量数据进行并行分析和处理。 高度可扩展，可动态增加/削减计算节点，真正实现弹性计算,具有高度容错能力，支持任务自动迁移,不受计算节点故障的影响，同时Spark离线计算已达到了准实时数据的处理能力。 通过Zookeeper集群协调，可以快速方便的进行故障自动恢复，提高系统的高容错，在处理能力不足时，可以动态增加新的工作节点，实现系统的水平扩展。 数据存储 数据导入 REDIS内存数据库 Flume是一个高可用的，高可靠的，分布式的海量数据传输系统，可以将KAFKA中的各类数据安全可靠的导入到HDFS和HBASE。 HBase 是一个面向列的分布式非关系型数据库。用来存储海量的数据，包括终端设备的原始信息、监测信息及位置信息等海量的数据信息。 Redis是一款基于内存的高性能的键值存储系统。Redis所有数据保存在内存中，能支持超过10万每秒的读写频率。在系统中被设置为存储设备的当前状态信息。 HDFS是高度容错的分布式文件系统，设计用在低成本的硬件上运行。HDFS能提供高吞吐量的数据访问，非常适合大规模数据集上的应用。 HDFS文件存储 HBASE列数据库 数据 交换 通过API授权认证,使应用层与平台层之间的数据交换既安全又简捷. 数据交换接口旨在提供业务层和平台层的数据交互服务，包括实时数据获取，历史数据获取，终端指令下发及应答检查。数据交换接口基于Thrift开发，Thrift是一个跨语言的服务部署框架。它通过中间语言来定义RPC的接口和数据类型，然后通过一个编译器生成不同语言的代码。 表达相同的内容所需的数据包比XML和 JSON小，传输所占用的服务器资源更少。 技术成熟,性能良好,具备高并发的数据访问与处理能力。 跨平台，支持多语言客户端 的应用。 平台架构 应用层 应用平台 感知层 地质监测 智慧交通 智慧农业 灾害预防 定位信息 视频信息 环境数据 …… 物联网 数据交换（Restful、Thrift、API） 大 数 据 基 础 平 台 物联网基础平台 交通信