MongoDB在气象传感器数据处理中应用.docVIP

MongoDB在气象传感器数据处理中应用 　　摘 要：海量规模数据不断涌现，对非结构型数据的存储和处理需求日益增长，传统的关系数据库很难对其高效处理，NoSQL技术则能比较好的解决这类问题。本文将介绍NoSQL，MongoDB，以及MongoDB在处理海量气象参数的传感器数据时的应用。实践证明，以MongoDB为代表的NoSQL数据库在存储和访问海量的非结构化数据时，有着良好的性能。 　　关键词：NoSQL；MongoDB；海量数据；面向文档 　　中图分类号：TP311 　　文献标识码：A 　　DOI： 10.3969/j.issn.1003-6970.2015.11.010 　　0 引言 　　随着云计算时代的到来，web2.0的快速发展，非关系型、分布式数据存储得到了快速的发展，它们具有非常高的读写性能，尤其在大数据量下。而且NoSQL具有灵活的数据模型，即无需事先为要存储的数据建立字段，随时可以存储白定义的数据格式。在不太影响性能的情况下，就可以方便的实现高可用的架构。面向文档的MongoDB，其数据结构非常松散，可以存储比较复杂的数据类型，保证海量数据存储的同时，具有良好的查询性能，拥有广泛应用。 　　在本实验室气象局项目中，需要存储、查询大量气象参数测量传感器数据，每次测量的数据通道并不都是一致，即测量数据是弱一致性的，还要求保持可扩展性，并且能够便捷的获取数据，而MongoDB能很好的满足这些需求，本文将以实验室气象参数测量传感器数据的处理为背景，介绍MongoDB在实际生产中的运用。 　　1 NoSQL 　　1.1 概述 　　NoSQL是对非关系型数据库系统的总称，意思是No SQL（没有SQL语言）。它与关系型数据库最重要的不同是：NoSQL不使用SQL作为查询语言。其数据存储可以不需要固定的表格模式，也经常会避免使用SQL的JOIN操作，一般具有水平可扩展的特征。在大量数据存取上具备关系型数据库无法比拟的性能优势。NoSQL数据库凭借着其非关系型、分布式、开源和横向扩展等优势，被认为是下一代数据库产品。 　　1.2 NoSQL分类 　　NoSQL可以大体上分为4个种类：Key-value（键值存储）、Document-Oriented（面向文档）、Column-Family Databases（面向表列）以及Graph-Oriented Databases（面向图论）。下面就一览这些类型的特性： 　　键值数据库：通过key快速查询到其value，存储并不关心值的格式，比如通过国际标准书号ISBN找一本书，在这里，ISBN是键，书籍的其他信息就是值。必须知道键才能查询。 　　文档存储数据库：面向文档数据库会将数据以文档的形式储存。每个文档都是白包含的数据单元，是一系列数据项的集合。每个数据项都有一个名称与对应的值，值既可以是简单的数据类型，如字符串、数字和日期等；也可以是复杂的类型，如有序列表和关联对象。 　　列式数据库：也被称为列式存储或宽列存储，对数据进行列式存储。最大的特点是方便存储结构化和半结构化数据，方便做数据压缩，对针对某一列或者某几列的查询有非常大的10优势。 　　图型数据库：图型数据库关注值与值之间的关系，用图型的数学概念存储数据。图型数据库用带有点、边缘和属性的图的结构表示和存储数据。在图型数据库中，每一个元素都包含一个直接的指向它毗邻元素的点，所以也就不需要索引查找。 　　1.3 优缺点 　　NoSQL数据库最大的优点在于它的去中心化、可扩展、容错能力等属性。用NoSQL数据库，你可以为每一个特殊的用例定制化你的数据管理解决方案。另外，大多数NoSQL产品都是轻量级的，因此花费比较少。自从NoSQL产品被设计用来满足特殊的用例和解决特殊的问题，它的功能也就比大多数关系型数据库少，因为后者要应用于更广泛的领域。因此，NoSQL数据库需要的代码更少，这也是和复杂的关系型数据库相比具备的一项优势。 　　当然，NoSQL也有它的缺点。ACID协议是关系型数据库的标准，但很多NoSQL数据库做不到。如果ACID支持很关键，你必须要确定你选的NoSQL数据库是否提供ACID。NoSQL数据库的另一个缺点是不支持SQL语言。经过40多年的发展，SQL已经成为访问数据的通用语言。一套数据库系统不支持SQL语言就意味着要求开发者学习不同的访问数据的语言。 　　NoSQL数据库在网页扩展、大数据和分析部署等方面越来越流行。每一个种类的NoSQL数据库都有适用的不同类型的应用程序和用例，这就涉及到一个NoSQL社区常用的一个话题，即多样持久性，或者说根据数据库处理应用程序需求的不同，使用不同的数据库系统，用于不同的应用程序和用例。因此，使用NoSQL最重要的是使用正确的数