通用生态观测数据管理平台的设计与实现.PDFVIP

通用生态观测数据管 陈灿 chencan@ 理平台的设计与实现 科研信息化实验室 中科院计算机网络信息中心 背景 第一阶段 第二阶段 第三阶段 ❖ 生态系统观测的转变 野外通过订制的笔 Android等系统的 采集方式 野外通过纸笔记录 记本电脑或PDA手 ❖ 观测数据采集工作方式的缺陷 手持终端 持终端 ❖ 当前生态系统观测数据管理系统的局限 录入到电脑，以 导出成word 、 直接上传关系型数 数据存储和管理方 word 、excel等文 excel等文件或导入 据库，并有数据管 式 件为载体 到关系型数据库 理系统辅助 现状 ❖ 采集方式和数据管理平台 ❖ 专业设备加笔记本 ❖ 基于PDA ，配合关系型数据库 ❖ 基于Android平台，针对特定业务领域，配合关系型数据库 ❖ 异构数据处理方法 ❖ 已有异构数据库基础上，通过XML等中间件进行集成查询 ❖ 采用各种中间件，整合原有异构数据，基于大数据技术，重新构建新数 据库 问题 ❖ 跨学科异构数据的融合存储 ❖ 高度可扩展的数据存储模型 ❖ 支持I/O密集操作的数据管理平台 数据模型 ❖ 数据采集表模型 ❖ 两种表格类型 ❖ 统一的模型格式 ❖ BSON ❖ key-value文档 数据模型 ❖ 采集数据模型 ❖ 两类采集表数据 ❖ 同一数据格式 ❖ BSON文件key-value 系统设计 数据层 ❖ NoSQL技术架构 ❖ 非关系型、分布式 ❖ 强调读写效率、数据容量、可扩展性 ❖ 具有灵活性、支持横向可伸缩性 ❖ MongoDB 驱动层 ❖ 平台特点 ❖ 多用户使用 ❖ 针对大数据存取 ❖ I/O密集 ❖ 高并发 ❖ Node.js ❖ 后端的Javascript运行环境，Google Chrome 的V8 引擎，提供系统级的API ❖ 事件驱动、非阻塞I/O模型 功能模块层 ❖ 标准化模块 ❖ 文件操作模块 ❖ 数据库操作模块 ❖ Session处理模块 ❖ 页面路由控制模块 用户交互层 ❖ 采集表订制管理系统 ❖ 数据管理系统 ❖ 轨迹数据管理系统 ❖ 生态观测采集表的订制 ❖ 采集数据上传 ❖ 数据入库前审核 ❖ 数据管理