物联网数据存储及管理分析.pdf

物联网数据存储及物联网数据存储及 管理管理 物联网数据存储及管理分析物联网数据存储及管理分析 目录  物联网数据存储现状分析  海量元数据查询需求分析  物联网元数据管理系统设计物联网元数据管理系统设计  面向数据更新的结构设计和分析  面向预计算的元数据组织结构－数据立 方体方体 物联网数据存储现状分析  大规模存储系统的应用越来越广泛，存 储容量也从以前的TB （Terabyte ）级上 升到升到PBPB （（PetabytePetabyte））级甚至级甚至EBEB （（ExabyteExabyte）） 级。  随着存储系统规模不断增大随着存储系统规模不断增大，在大规模在大规模 文件系统中，文件的数量高达几十亿个， 在这种海量数据中查找和管理文件变得 异常困难异常困难。 物联网数据存储现状分析  这与互联网环境形成了鲜明的对比：  由于搜索引擎技术的发展，在互联网的 环境下查找信息很方便环境下查找信息很方便，  而用户在存储系统中找到想要的信息比 在在互联联网上查查找信息信息更加加困难 物联网数据存储现状分析  如今存储系统中的数据量的快速增长使 得查找和管理文件异常的困难，  为了能够合理的管理这些不断增多的海为了能够合理的管理这些不断增多的海 量数据，  不管是用户还是管理者都需要能够高效 的获得获得文件件的属性性。 物联网数据存储现状分析  元数据查询包含索引文件元数据，例如 索引节点和索引节点和一些扩展属性些扩展属性，能够帮助回能够帮助回 答很多复杂查询问题。  利用文件属性，元数据查询允许点查询、 范围查询范围查询、、topp-k查询和聚集查询查询和聚集查询，，  这些使得复杂的、特定的查询变得简单。 物联网数据存储现状分析  能够帮助管理者回答  “哪些文件在过去的一周里增长很快？”  或者是或者是 “哪些应用程序和用户的文件占用大多哪些应用程序和用户的文件占用大多 数存储空间？”  元数据查询也能够帮助用户找到元数据查询也能够帮助用户找到1010个最近访问个最近访问 的报告或最大的虚拟机镜像。  准确地回答这些问题能够极大的提高用户和管准确地回答这些问题能够极大的提高用户和管 理者管理大规模存储系统中的文件。 物联网数据存储现状分析  现存的系统一般都采用通用型的数据库 管理系统（Database Management SystemSystem，，DBMSDBMS））来索引元数据来索引元数据，，  由于DBMS不能很好的适用于多维元数据 的查询的查询，  查询效率非常低询效率非常低 物联网数据存储现状分析  这就限制了在大规模存储系统中元数据 查询的性能和可扩展性，  所以在大规模存储系统中要想获得快速所以在大规模存储系统中要想获得快速、 高效的元数据查询是很难实现的。 物联网数据存储现状分析  从而使得一些复杂查询非常耗时、效率 低下，  不能有效地支持用户或管理者查找到想不能有效地支持用户或管理者查找到想 要的文件，或得到想要的数据。  例如，“我最近修修改过的过的PPT在在哪？”  或者或者 “我的目录下这个文件有几个副本我的目录下这个文件有几个副本？？ 物联网数据存储现状分析  为了解决上述问题，必须提供一种高效的多维 元数据查询系统元数据查询系统，而且必须满足以下特点且必须满足以下特点：  第一，必须能够从存储系统中快速收集到元数 据；  第第二，，查询和更新必须快速而且可扩展查询和更新必须快速而且可扩展；；  第三，必须能够快速的返回计算结果，比如用 户提交户提交一个复杂查询后并不想长时间在线等待个复杂查询后并不想长时间在线等待 计算结果，有时这个过程非常费时 物联网数据存储现状分析  例如  “某公司想统计一个星期内用户产生的 数据总数据总量有多少有多少？”  或者“最近一星期内排前五名的热点文 件是哪五个件是哪五个？？”，，  用户或管理者希望系统能够预先计算好 这些结果而不用在线等待这些结果而不用在线等待，当提交查询当提交查询 后能够快速返回结果 物联网数据存储现状分析  第四，资源需求必须很