智慧城市中大数据存储和分析技术探索.docVIP

智慧城市中大数据存储和分析技术探索 　　摘 要：随着城市化进程的推进，智慧城市的建设与应用成为当前研究的热点。大数据是支撑智慧城市建设的基础，影响着一个城市是否能够健康发展、正确进行管理决策，以及能否可持续发展的关键因素。通过对智慧城市中大数据在存储与分析技术方面的探索，为进一步研究大数据在智慧城市中的应用、搭建智慧城市数据化平台提供了参考。 　　关键词：大数据；智慧城市；大数据存储 　　DOI：10.16640/ki.37-1222/t.2017.21.115 　　0 引言 　　智慧城市通过各种传感器以及无处不在的物联网技术将现代城市与数据技术联系在一起，各式各样的数据呈现爆发式增长，进入大数据时代[1]。大数据已经在城市智能交通系统、智慧政务、智慧医疗、智慧社区、智慧体育、智慧旅游等方面得到广泛应用，成为智慧城市建设与应用的根本推动力。 　　大数据又称为巨量数据，是指所涉及的数据规模巨大，无法采用常规手段在合理时间内对其进行截取、管理和分析，成为人类所能解读的信息[2]。这些数据来源口径不同，模态千差万别，比如由不同厂家生产的各类传感器、智能设备产生的数据、数字照片、视频、购物交易记录、手机信号等。 　　面对智慧城市所产生的海量多源异构大数据，若能透彻的进行分析，以云计算技术进行整合，便能快速地将其转化为有价值信息，从中寻找和挖掘到城市的发展规律，人们生活和行为、以及社会潮流、思维的趋向，就能尽早的推断市场对产品、服务甚至政策等方面的需求和反应。从而更好、更智能的发挥大数据的作用，为智慧城市的健康发展提供有力支持。 　　1 城市大数据服务支撑架构 　　城市大数据包括结构化、半结构化和非结构化数据，尤其是空间、视频等非结构化数据越来越成为大数据的主体，传统的数据管理、存储手段已无法满足要求。而云计算技术，特别是Hadoop技术为大数据管理和高效支撑提供了基础平台，可以实现对大数据进行有效管理与并行处理[3]。充分发挥云计算技术优势，快速检索和处理城市大数据，挖掘其中有价值的信息和知识，为智慧城市的发展服务。在云?算和数据挖掘等技术支撑下，可将城市中的任何人、在任何时间、任何地点获取任何服务（Anyone，Anytime，Anywhere，Any Information，4A）的智能服务转变为在正确的时间、正确的地点将正确的信息提供给需要的人的灵性服务（Right Time，Right Place，Right Information，Right Person，4R），从而使数字城市真正成为智慧模式[4]。 　　基于云计算技术的城市大数据服务支撑架构如图1所示，架构由城市数据中心、城市基础库和城市云服务三部构成。 　　（1）城市数据中心是智慧城市大数据的基础，主要由一些物理资源构成，如：计算机、智能设备、存储设备、网络设备、数据库和数据库管理软件等。这些物理资源基于云计算和虚拟化技术，将多源异构数据资源转化成同构或接近同构的数据池。虚拟化技术能够屏蔽了数据口径和数据源之间不同的特性，使数据池中的数据能够被动态分配、动态迁移和数据整合，能够被集群用户所采用。 　　（2）城市基础库是智慧城市大数据的基础信息资源，也是智慧城市大数据服务支撑架构中其他用户的基础数据资源。架构中只有被授权了的用户才能访问和共享这些基础库。 　　（3）城市云服务是为智慧城市的各级用户提供各自所需要的云服务。按照云计算技术中“服务即应用”的理念，城市云服务就是以服务的形式为用户提供应用软件、技术服务以及各种计算资源，用户从此可以不再关注应用软件以及计算应用等的购买、安装和升级等复杂的流程，而只需要根据自己的实际情况租用相应的服务即可。 　　2 城市大数据服务支撑的关键技术 　　城市大数据服务支撑的数据资源包括基础数据资源、应用领域数据资源、共享数据资源、互联网数据中心（Internet Data Center，IDC）资源、公共安全数据资源、以及各行业部门根据自身的需要所建立起来的具有行业特点的数据资源等。基于各种数据资源的数据融合和信息共享是支撑城市更加“智慧”的关键因素，而面向服务架构（Service-Oriented Architecture，SOA）技术是保障数据融合和信息共享的技术支撑[5]。 　　从数据分析层面看，大数据服务支撑技术包括： 　　（1）数据收集技术。智慧城市大数据服务支撑架构可通过数据请求、数据迁移、软件调用、中间件技术等方式从城市基础库或行业专用数据库中获取数据。由于各数据库中数据的多源异构特性，采集过程一般通过开放数据库接口来实现，比如RestAPI和Web Service等。 　　（2）数据存储。城市要实现“智慧”化，首先就需要对分布的、海量数据进行高效存储，以实现低成本、低功耗、高可靠性