环境质量监控处理系统建议.ppt

* * * 我们以B+树的结构建立了字段的索引，每个B+树结构的字段索引相当于一个数据平面，这样一个全局数据表与其多个重要字段的索引就组成了一个类似于立方体的数据组织结构，我们称之为“数据立方(DataCube)”。数据立方(DataCube)是一种用于数据分析与索引的技术架构。它是针对大数据(big data)的处理利器，可以对元数据进行任意多关键字实时索引。通过数据立方对元数据进行分析之后，可以大大加快数据的查询和检索效率。 * * 我们以B+树的结构建立了字段的索引，每个B+树结构的字段索引相当于一个数据平面，这样一个全局数据表与其多个重要字段的索引就组成了一个类似于立方体的数据组织结构，我们称之为“数据立方(DataCube)”。数据立方(DataCube)是一种用于数据分析与索引的技术架构。它是针对大数据(big data)的处理利器，可以对元数据进行任意多关键字实时索引。通过数据立方对元数据进行分析之后，可以大大加快数据的查询和检索效率。 * 我们以B+树的结构建立了字段的索引，每个B+树结构的字段索引相当于一个数据平面，这样一个全局数据表与其多个重要字段的索引就组成了一个类似于立方体的数据组织结构，我们称之为“数据立方(DataCube)”。数据立方(DataCube)是一种用于数据分析与索引的技术架构。它是针对大数据(big data)的处理利器，可以对元数据进行任意多关键字实时索引。通过数据立方对元数据进行分析之后，可以大大加快数据的查询和检索效率。 * * * 那么最后呢为大家介绍下数据立方云计算一体机的管理系统 管理系统分成简洁，易懂，用户不需要专业的技术基础，就能够对整个一体机集群进行监控、分析和维护。 ? 首先是设备监控，我们对每个机架，机架里面的每台机器，机器里面的每个硬盘，的工作状态都有监控，同时对机器的CPU、内容、功耗和温度也有一个实时的监控。对磁盘的使用状态。 还提供了对数据立方分布式表结构的维护，用户可以通过管理系统新增自己的表结构，索引等。 我们对实时的入库速度还有一个监控，我们平台支持单条、多条、文件入库，同时支持在线查询功能，可以根据一定的查询条件进行实时的查询，以此来验证系统是否正常工作。 文件管理是用于让用户观察机器工作的日志等，来定位问题。 任务管理是对集群中所有的任务进行集中式管理，监控每个任务的工作状态 最后还提供了告警的配置，信息和日志监控，还有故障的管理。 * * * * * * * * * * * * * * * 在比赛中，我们使用了独创的数据立方技术，面对数10亿条记录，能够秒级处理。这比我们之前使用HBase技术快了几十倍，比其它厂商使用美国Greenplum技术也快了几倍。 * 云处理平台后台管理界面 云平台方案 秒级响应时间--- 纠错容错机制--- 无代价扩容----- 同等性能只需传统方案费用的1/3--- 只需普通技术人员- 传统解决方案 -----分钟级 -----数据丢失难以恢复 -----更换方案时原有资源浪费 -----价格高昂，维护价格高 -----需专业技术人员 云平台比传统方案的优势比较 实时性 可靠性 可伸缩性 高性价比 通用易用 云平台的优势 成功案例 项目背景 方案解决 框架介绍 案例一：智慧交通云平台 案例一：智慧交通云平台 数据来源：可接入包括视频、图像数据，RFID射频数据等。 系统拓扑图 案例一：智慧交通云平台 案例一：智慧交通云平台 案例二：中国移动信令共享云平台 案例二：中国移动信令共享云平台 数据量（万条） 号码 结果返回时间 总处理时间 返回数据量 37000 1385******* 0.35s 3s 33 37000 1369******* 0.38s 3s 83 37000 1381******* 0.27s 2s 30 37000 1365******* 0.20s 3s 643 170000 1399******* 0.88s 4s 149 170000 1388******* 0.85s 5s 445 170000 1393******* 0.92s 4s 149 170000 1362******* 0.77s 6s 3361 案例二：中国移动信令共享云平台 案例二：中国移动信令共享云平台 最新的国家电网测试结果 用例 数据量 耗费时间 结果集 用例4 54.4亿，6.225TB 827毫秒 33211条 用例4 54.4亿，6.225TB 840毫秒 33211条 用例4 54.4亿，6.225TB 727毫秒 33211条 select t.tmnl_task_id, t.terminal_id from e_mp_power_curve