招聘行业大数据解决方案.ppt

三、空间大数据的应用 3.空间大数据与应急管理 2013年4月15日，波士顿马拉松爆炸案事发几小时内，数以千计的在场群众将事发现场拍摄的照片和视频放到了公共网络平台上，这些照片和视频图像来自各种相机，手机和平板电脑。不到一天时间，嫌犯被确认并在纽约被抓获 这是一种典型的利用空间社会媒体的位置大数据与反犯罪机构的专业能力结合，建立的城市安全与应急新体制 位置大数据研究涉及到数据采集、数据处理、计算和存储以及可视化等一套完整的方法体系 四、空间大数据的存储 四、空间大数据的存储 海量数据的高效存储 支持丰富的数据类型 处理速度快 数据库应当易于扩展 大数据下对于数据库的需求 四、空间大数据的存储 CAP NOSQL BASE 不保证遵循 ACID原则 分布式的 非关系型的 四、位置大数据的存储 必须保证 两者权衡 一致性 可用性 分区容 错性 BASE 四、空间大数据的存储 灵活 高可用性 高性能 易扩展 NoSQL数据库的特点 四、空间大数据的存储 Key-value型 文档型 图形数据库 列式存储 四、空间大数据的存储 定义一个大的有序结 构数组HashValue[m]， 用来存放各信息 查询 哈希表 哈希函数 当查询的时候 再使用哈希函数 得到这个下标值 编写一个哈希函数将关键值的名字转换为HashValue[m]中的某个下标值x Key-value型 四、空间大数据的存储 文档 集合 数据库 集合就是一组文档。 集合是无模式的。 多个文档组成集合 多个集合数据库。 它包含多个键/值对 文档中的键/值对是 有序的 文档型数据库 四、空间大数据的存储 四、空间大数据的存储 四、空间大数据的存储 分类 Examples举例 典型应用场景 数据模型 优点 缺点 键值（key-value） Tokyo Cabinet/Tyrant, Redis, Voldemort, Oracle BDB 内容缓存，主要用于处理大量数据的高访问负载，也用于一些日志系统等等。 Key 指向 Value 的键值对，通常用hash table来实现 查找速度快 数据无结构化，通常只被当作字符串或者二进制数据 列存储数据库 Cassandra, HBase, Riak 分布式的文件系统 以列簇式存储，将同一列数据存在一起 查找速度快，可扩展性强，更容易进行分布式扩展 功能相对局限 文档型数据库 CouchDB, MongoDb Web应用（与Key-Value类似，Value是结构化的，不同的是数据库能够了解Value的内容） Key-Value对应的键值对，Value为结构化数据 数据结构要求不严格，表结构可变，不需要像关系型数据库一样需要预先定义表结构 查询性能不高，而且缺乏统一的查询语法。 图形(Graph)数据库 Neo4J, InfoGrid, Infinite Graph 社交网络，推荐系统等。专注于构建关系图谱 图结构 利用图结构相关算法。比如最短路径寻址，N度关系查找等 很多时候需要对整个图做计算才能得出需要的信息，而且这种结构不太好做分布式的集群方案。 四、空间大数据的存储 四、空间大数据的存储 这便是一个document，使用JSON格式，一目了然。其中的geom即为Geometry类型的数据，即地理空间数据，也是采用JSON格式存储，这样后续的空间索引与空间查询将十分方便。 四、空间大数据的存储 db.xqpoint.find({geom.coordinates:[122.53233,52.968872]}) 精确查询 邻域查询 db.xqpoint.find({geom.coordinates:{$near:[122,52]}})? db.xqpoint.find({geom.coordinates:{$near:[122,52]}}).limit(5) db.xqpoint.find({geom.coordinates:{$near:[122,52],$maxDistance:5}}).limit(5) 四、空间大数据的存储 范围查询 box = [[80,40],[100,50]]? db.xqpoint.find({geom.coordinates:{$within:{$box:box}}}) center = [80,44]? radius =5? db.xqpoint.find({geom.coordinates:{$within:{$center:[center,radius]}}}) polygon1 = [[75,35],[80,35],[80,45],[60,40]]? db.xqpoint.find({geom.coordinates: