厅局级大数据部门间共享业务.ppt

四、空间大数据的存储 四、空间大数据的存储 四、空间大数据的存储 分类 Examples举例 典型应用场景 数据模型 优点 缺点 键值（key-value） Tokyo Cabinet/Tyrant, Redis, Voldemort, Oracle BDB 内容缓存，主要用于处理大量数据的高访问负载，也用于一些日志系统等等。 Key 指向 Value 的键值对，通常用hash table来实现 查找速度快 数据无结构化，通常只被当作字符串或者二进制数据 列存储数据库 Cassandra, HBase, Riak 分布式的文件系统 以列簇式存储，将同一列数据存在一起 查找速度快，可扩展性强，更容易进行分布式扩展 功能相对局限 文档型数据库 CouchDB, MongoDb Web应用（与Key-Value类似，Value是结构化的，不同的是数据库能够了解Value的内容） Key-Value对应的键值对，Value为结构化数据 数据结构要求不严格，表结构可变，不需要像关系型数据库一样需要预先定义表结构 查询性能不高，而且缺乏统一的查询语法。 图形(Graph)数据库 Neo4J, InfoGrid, Infinite Graph 社交网络，推荐系统等。专注于构建关系图谱 图结构 利用图结构相关算法。比如最短路径寻址，N度关系查找等 很多时候需要对整个图做计算才能得出需要的信息，而且这种结构不太好做分布式的集群方案。 四、空间大数据的存储 四、空间大数据的存储 这便是一个document，使用JSON格式，一目了然。其中的geom即为Geometry类型的数据，即地理空间数据，也是采用JSON格式存储，这样后续的空间索引与空间查询将十分方便。 四、空间大数据的存储 db.xqpoint.find({geom.coordinates:[122.53233,52.968872]}) 精确查询 邻域查询 db.xqpoint.find({geom.coordinates:{$near:[122,52]}})? db.xqpoint.find({geom.coordinates:{$near:[122,52]}}).limit(5) db.xqpoint.find({geom.coordinates:{$near:[122,52],$maxDistance:5}}).limit(5) 四、空间大数据的存储 范围查询 box = [[80,40],[100,50]]? db.xqpoint.find({geom.coordinates:{$within:{$box:box}}}) center = [80,44]? radius =5? db.xqpoint.find({geom.coordinates:{$within:{$center:[center,radius]}}}) polygon1 = [[75,35],[80,35],[80,45],[60,40]]? db.xqpoint.find({geom.coordinates:{$within:{$polygon:polygon1}}})? 五、总结 大数据研究带来的挑战 多源数据的 分析和挖掘 空间大数据 的位置安全 结合地理计算的 可视分析 可扩展的动态 海量数据管理 新的数据共享机制 需要建立 * * * * * e * * * 大数据建设——数据质量及管控建设 * 监控（发现问题） 分析（分析问题） 修正(解决问题) 跟踪(执行监督) 依据数据质量度量标准对其的数据实体和数据处理过程建立有效的监控机制，在第一时间发现数据质量问题，为数据质量问题分析提供原始依据 依据各系统的监控信息，对异常指标进行跟踪，提交相关数据质量问题报告，注重对分析过程中知识的积累 提出相应的解决方案和解决期限，方案和期限经评审通过后将正式进入修正过程 对于每一份数据质量问题报告都会进入问题跟踪库，确保数据质量问题可查、可跟踪 及时性、完善性、合法性、准确性、唯一性监控 问题分析、数据质量问题报告、知识库积累 源系统、数据平台、应用系统 关键：编号、解决期限、责任人 大数据建设——数据平台建设 * 数据应用 平台搭建 数据调研 数据整合 数据管理 数据采集 数据主题库 数据加工 数据管理 数据开放 数据可视化分析 数据专题应用 技术主导 业务参与 业务需求 技术支持 业务主动 技术服务 业务价值驱动 从技术“推” 到 业务“拉” 的转变 养育数据、由小而大、分期建设 规划勾画骨架；项目填充血肉 科技厅大数据共享案例 TECHNOLOGY INDUSTRY SOLUTIONS * 科技大数据 陕西省科技管理服务一体化云平台旨在通过大数据技术，建立起一套数据采集整合、应