面向物联网海量传感器采样数据管理的数据库集群系统框架丁治明.docVIP

面向物联网海量传感器采样数据管理的 数据库集群系统框架 丁治明,高旭 中国科学院软件研究所基础软件国家工程研究中心!北京 (中国科学院研究生院!北京!) 程感知和控制!由此生成一个更加智慧的生产 和生活体系 - 目前!物联网已经成为一个新的技术热点!得 到了世界各国研究者和产业界的广泛关注 - 然而!物 联网的研究与产业化还存在着诸多局限!大部分的 工作还集中在物联网中单个传感器或小型传感器网 络方面如智能传感器技术#压缩传感技术等$!或者 集中在物联网硬件和网络层面如新型网络互连技 术#高通量服务器技术等$ % !:’ !而对于物联网欲与互 联网相比肩所面临的核心问题!即海量异构传感器 数据的存储与查询处理#大量传感器的智能分析与 协同工作#复杂事件的自动探测与有效应对等技术 的研究还比较有限 - 在物联网系统中!对传感器海量采样数据的集 中存储与查询处理是十分重要的 - 通过对海量传感 器采样数据的集中管理!用户不仅可以直接在数据 中心获得任一传感器的历史与当前状态!而且通过 对集中存放的群体数据进行分析!可以实现复杂事 件与规律的感知 - 此外!传感器采样数据的集中管理 还使得物物互联 T/\!=U!;1A8O0 $#基于物的搜索引 擎#传感器采样数据的统计分析与数据挖掘等成为 可能 - 在传感器采样数据的集中管理系统中!大量的传 感器结点根据预先制定的采样及传输规则!不断地向 数据中心传递所采集的数据!从而形成海量的异构数 据流 - 数据中心不仅需要正确地理解这些数据!而且 需要及时地分析和处理这些数据!进而实现有效的感 知和控制 - 通过分析我们不难看出!物联网的以下 ) 个特点对数据处理技术形成了巨大的挑战’ $物联网数据的海量性 - 物联网系统通常包 含着海量的传感器结点 - 其中!大部分传感器如温 度传感器# 62 传感器#压力传感器等$的采样数据 是数值型的!但也有许多传感器的采样值是多媒体 数据如交通摄像头视频数据#音频传感器采样数 据#遥感成像数据等$ - 每一个传感器均频繁地产生 新的采样数据!系统不仅需要存储这些采样数据的 最新版本!而且在多数情况下!还需要存储某个时间 段如 个月$内所有的历史采样值!以满足溯源处 理和复杂数据分析的需要 - 可以想象!上述数据是海 量的!对它们的存储#传输#查询以及分析处理将是 一个前所未有的挑战 - $ $传感器结点及采样数据的异构性 - 在同一 个物联网系统中!可以包含形形色色的传感器!如交 通类传感器#水文类传感器#地质类传感器#气象类 传感器#生物医学类传感器等!其中每一类传感器又 包括诸多具体的传感器!如交通类传感器可以细分 为 62 传感器# ?5*@ 传感器#车牌识别传感器#电 子照相身份识别传感器#交通流量传感器红外#线 圈#光学#视频传感器$#路况传感器#车况传感器等 - 这些传感器不仅结构和功能不同!而且所采集的数 据也是异构的 - 这种异构性极大地提高了软件开发 和数据处理的难度 - ! $物联网数据的时空相关性 - 与普通互联网 结点不同!物联网中的传感器结点普遍存在着空间 和时间属性(((每个传感器结点都有地理位置!每 个数据采样值都有时间属性!而且许多传感器结点 的地理位置还是随着时间的变化而连续移动的!如 智能交通系统中!每个车辆安装了高精度的 62 或 ?5*@ 标签!在交通网络中动态地移动 - 与物联网数 据的时空相关性相对应!物联网应用中对传感器数 据的查询也并不仅仅局限于关键字查询 - 很多时候! 我们需要基于复杂的逻辑约束条件进行查询!如查 询某个指定地理区域中所有地质类传感器在规定时 间段内所采集的数据!并对它们进行统计分析 - 由此 可见!对物联网数据的空间与时间属性进行智能化 的管理与分析处理是至关重要的 - ) $物联网数据的序列性与动态流式特性 - 在 物联网系统中!要查询某个监控对象在某一时刻的 物理状态是不能简单地通过对时间点的关键字匹配 来完成的!这是因为采样过程是间断进行的!查询时 间与某个采样时间正好匹配的概率极低 - 为了有效 地进行查询处理!需要将同一个监控对象的历次采 样数据组合成一个采样数据序列!并通过插值计算 的方式得到监控对象在指定时刻的物理状态 - 采样 数据序列反映了监控对象的状态随时间变化的完整 过程!因此包含比单个采样值丰富得多的信息 - 此 外!采样数据序列表现出明显的动态流式特性((( 随着新采样值的不断到来和过时采样值的不断淘 汰!采样数据序列是不断的动态变化的 - 针对物联网海量数据管理所面临的上述挑战! 目前尚没有有效的解决方法 - 在海量数据处理方面! 最有效的方法之一是云数据管理技术!但几乎所有 的云数据管理系统均为)键 : 值*数据库!即按照主关 键字对数据进行分布