城市计算与大数据详解.docxVIP

城市计算与大数据 近年来，随着感知技术和计算环境的成熟，各种大数据在城市中悄然而生。城市计算就是用城市中的大数据来解决城市本身所面临的挑战，通过对多种异构数据的整合、分析和挖掘，来提取知识和智能，并用智能来创造“人—环境—城市”三赢的结果。微软亚洲研究院主管研究员郑宇从城市计算的基本框架及核心问题、典型应用、主要技术等方面对城市计算研究进行了全面而详细的分析，让我们一睹为快！ 城市计算的基本框架及核心问题 基本框架 城市计算的基本框架包括城市感知及数据捕获、数据管理、城市数据分析和服务提供（如图1）。与自然语言分析和图像处理等“单数据单任务”系统相比，城市计算是一个“多数据多任务”系统。城市计算中的任务包括改进城市规划、缓解交通拥堵、保护自然环境、减少能源消耗等。而一个任务又需要同时用到多种数据。例如，在城市规划的设计过程中，需要同时参考道路结构、兴趣点分布、交通流等多种数据源。 核心问题 城市计算是一门新兴的交叉领域，涵盖面较广。从计算机科学的角度来看，其核心的研究问题主要包括以下4 个方面： 城市感知 如何利用城市现有的资源（如手机、传感器、车辆和人等），在不干扰人们生活的前提下自动感知城市的韵律，是一个重要的研究课题。如何从大量的传感器和设备中高效而可靠地收集、传送数据将给现有的传感器网络技术带来挑战。此外，人作为传感器参与到城市感知过程是一个新概念。例如，当一场灾难发生后，有些用户会在社交网络上发布消息或上传照片。这些用户其实就是在感知发生在他们身边的事情。用户在出入地铁站时的刷卡行为也间接帮助我们感知了地铁系统的拥挤和人们的出行。人赋予了传统传感器强大的感知能力和前所未有的灵活性，但产生的数据更加随机、无序（如微博上的文字），数据的产生时间也变得难以预测、不可控，这给数据的收集和解析带来了挑战。 海量异构数据的管理 城市产生的数据五花八门，属性差别很大。例如：气象是时序数据，兴趣点是空间点数据，道路是空间图数据，人的移动是轨迹数据（时间+ 空间），交通流量是流数据??社交网上用户发布的信息是文本或图像数据。如何管理和整合大规模的异构数据是一个新的挑战。尤其是在一个应用中使用多种数据时，只有提前建立起不同数据之间的关联，才能使后面的分析和挖掘过程变得高效、可行。 异构数据的协同计算 这部分包括三个方面：(1) 如何从不同的数据源中获取相互增强的知识是一个新的课题。传统的机器学习往往基于单一数据，如自然语言处理主要分析文本数据，图像视觉主要基于图像数据。在城市计算的很多应用中，对不同性质的数据一视同仁，其效果并不理想。(2) 在保证知识提取深度的同时，如何提高对大数据的分析效率，从而满足城市计算中众多实时性要求较高的应用（如空气质量预测、异常事件监测等），也是一个难题。(3) 数据维度的增加也容易导致数据稀疏性问题。当数据规模达到一定程度，简单的矩阵分解算法都变得难以执行。 虚实结合的混合式系统 城市计算常常催生混合系统，如云加端模式，即信息产生在物理世界，通过终端设备被收集到云端（虚拟世界）分析和处理，最后云再将提取的知识作为服务提供给物理世界的终端用户。数据在物理和虚拟世界中来回穿行，从分散到集中，再到分散。这对系统的设计和搭建提出了更高的要求。基于浮动车数据的快速行车路线设计以及城市异常事件的监测都是典型的混合式系统。 城市计算的典型应用 城市规划 城市拥堵在一定程度上突显了现有道路网的设计已经不能满足不断发展的城市交通流的需求。如图2(a) 所示，利用高速和环路等主干道将城市分割成区域，然后分析大规模车流轨迹数据在不同区域之间行驶的一些特征，便可找到连通性较差的区域对，从而发掘现有城市道路网的不足之处。图2(b) 给出了基于北京市3 万多辆出租车3 个月轨迹数据的分析结果。这些结果可以作为制定下一版交通规划的参考。同时，通过对比连续两年的检测结果，可以验证一些已经实施的规划（如新建道路和地铁）是否合理。 城市的不断发展催生了不同的功能区域，如文教、商业和住宅区等。准确掌握这些区域的分布对制定合理的城市规划有着极其重要的意义。但是一个区域的功能并不是单一的，例如在科学文教区里仍然有饭店和商业设施的存在。因此，一个区域需要由一个功能的分布来表达（如70%的功能为商业，20% 的功能为住宅，剩余的为教育）。由于一个区域杂糅了很多不同类别的兴趣点，而且每个兴趣点的作用大小和被访问频度都很难预知，这给城市规划提出了很大的挑战。例如，同样都是餐馆，一个小区里的小店和全聚德之类的大店所反映的区域功能是完全不一样的。 结合兴趣点数据和人们的移动模式，Discovering regions of different functions in a city using human mobility and POIs分析了城市中不同的