- 1、本文档共69页,可阅读全部内容。
- 2、原创力文档(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
- 3、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载。
- 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
查看更多
四、空间大数据的存储 四、空间大数据的存储 四、空间大数据的存储 分类 Examples举例 典型应用场景 数据模型 优点 缺点 键值(key-value) Tokyo Cabinet/Tyrant, Redis, Voldemort, Oracle BDB 内容缓存,主要用于处理大量数据的高访问负载,也用于一些日志系统等等。 Key 指向 Value 的键值对,通常用hash table来实现 查找速度快 数据无结构化,通常只被当作字符串或者二进制数据 列存储数据库 Cassandra, HBase, Riak 分布式的文件系统 以列簇式存储,将同一列数据存在一起 查找速度快,可扩展性强,更容易进行分布式扩展 功能相对局限 文档型数据库 CouchDB, MongoDb Web应用(与Key-Value类似,Value是结构化的,不同的是数据库能够了解Value的内容) Key-Value对应的键值对,Value为结构化数据 数据结构要求不严格,表结构可变,不需要像关系型数据库一样需要预先定义表结构 查询性能不高,而且缺乏统一的查询语法。 图形(Graph)数据库 Neo4J, InfoGrid, Infinite Graph 社交网络,推荐系统等。专注于构建关系图谱 图结构 利用图结构相关算法。比如最短路径寻址,N度关系查找等 很多时候需要对整个图做计算才能得出需要的信息,而且这种结构不太好做分布式的集群方案。 四、空间大数据的存储 四、空间大数据的存储 这便是一个document,使用JSON格式,一目了然。其中的geom即为Geometry类型的数据,即地理空间数据,也是采用JSON格式存储,这样后续的空间索引与空间查询将十分方便。 四、空间大数据的存储 db.xqpoint.find({geom.coordinates:[122.53233,52.968872]}) 精确查询 邻域查询 db.xqpoint.find({geom.coordinates:{$near:[122,52]}})? db.xqpoint.find({geom.coordinates:{$near:[122,52]}}).limit(5) db.xqpoint.find({geom.coordinates:{$near:[122,52],$maxDistance:5}}).limit(5) 四、空间大数据的存储 范围查询 box = [[80,40],[100,50]]? db.xqpoint.find({geom.coordinates:{$within:{$box:box}}}) center = [80,44]? radius =5? db.xqpoint.find({geom.coordinates:{$within:{$center:[center,radius]}}}) polygon1 = [[75,35],[80,35],[80,45],[60,40]]? db.xqpoint.find({geom.coordinates:{$within:{$polygon:polygon1}}})? 五、总结 大数据研究带来的挑战 多源数据的 分析和挖掘 空间大数据 的位置安全 结合地理计算的 可视分析 可扩展的动态 海量数据管理 新的数据共享机制 需要建立 * * * * * e * * * 大数据建设——数据质量及管控建设 * 监控(发现问题) 分析(分析问题) 修正(解决问题) 跟踪(执行监督) 依据数据质量度量标准对其的数据实体和数据处理过程建立有效的监控机制,在第一时间发现数据质量问题,为数据质量问题分析提供原始依据 依据各系统的监控信息,对异常指标进行跟踪,提交相关数据质量问题报告,注重对分析过程中知识的积累 提出相应的解决方案和解决期限,方案和期限经评审通过后将正式进入修正过程 对于每一份数据质量问题报告都会进入问题跟踪库,确保数据质量问题可查、可跟踪 及时性、完善性、合法性、准确性、唯一性监控 问题分析、数据质量问题报告、知识库积累 源系统、数据平台、应用系统 关键:编号、解决期限、责任人 大数据建设——数据平台建设 * 数据应用 平台搭建 数据调研 数据整合 数据管理 数据采集 数据主题库 数据加工 数据管理 数据开放 数据可视化分析 数据专题应用 技术主导 业务参与 业务需求 技术支持 业务主动 技术服务 业务价值驱动 从技术“推” 到 业务“拉” 的转变 养育数据、由小而大、分期建设 规划勾画骨架;项目填充血肉 科技厅大数据共享案例 TECHNOLOGY INDUSTRY SOLUTIONS * 科技大数据 陕西省科技管理服务一体化云平台旨在通过大数据技术,建立起一套数据采集整合、应
您可能关注的文档
- 大数据在政府部门中的应用.ppt
- 第01章-大数据与云计算.ppt
- 第八章-大数据.ppt
- 第九讲:信息与大数据伦理问题-工程伦理.ppt
- 基于大数据的工程建设与管理.ppt
- 生物医学大数据概述.ppt
- 我眼中的大数据.ppt
- 招聘行业大数据解决方案.ppt
- 走进大数据时代.ppt
- 大急诊急救体系建设的现实意义和前景.ppt
- 第三单元 行军九日思长安故园 教学课件(共23张PPT)——初中语文统编版(2024)课外古诗词课件七年级上册.pptx
- 江苏省扬州市江都区丁沟中学2023-2024高一下学期期末补考地理试题(含解析).pdf
- 辽宁名校联盟2024-2025学年高二上学期9月联考政治试题.pdf
- 10 往事依依 课件(共28张PPT) 2024-2025学年统编版语文七年级上册(2024).pptx
- 辽宁省辽阳市第一中学2024-2025学年八年级上学期开学考试数学试题(无答案).pdf
- 四川省绵阳中学2024-2025学年高三上学期开学考试化学试题(无答案).pdf
- 四川省绵阳市涪城区2024-2025学年九年级上学期开学考试历史试题(原卷版).pdf
- 第1课《春》课件(共47张PPT) 统编版语文七年级上册.pptx
- 陕西省西安市汇知中学2024-2025学年九年级上学期定位测试(开学)历史试题(含解析).pdf
- 四年级上册数学全册各单元经典题型练习(无答案).pdf
文档评论(0)