城市计算与大数据.pdfVIP

城市计算与大数据 近年来，随着感知技术和计算环境的成熟，各种大数据在城市中悄 然而生。城市计算就是用城市中的大数据来解决城市本身所面临的 挑战，通过对多种异构数据的整合、分析和挖掘，来提取知识和智 能，并用智能来创造“人—环境—城市”三赢的结果。微软亚洲研 究院主管研究员郑宇从城市计算的基本框架及核心问题、典型应用、 主要技术等方面对城市计算研究进行了全面而详细的分析，让我们 一睹为快！ 城市计算的基本框架及核心问题 基本框架 城市计算的基本框架包括城市感知及数据捕获、数据管理、城市数 据分析和服务提供（如图 1）。与自然语言分析和图像处理等“单 数据单任务”系统相比，城市计算是一个“多数据多任务”系统。 城市计算中的任务包括改进城市规划、缓解交通拥堵、保护自然环 境、减少能源消耗等。而一个任务又需要同时用到多种数据。例如， 在城市规划的设计过程中，需要同时参考道路结构、兴趣点分布、 交通流等多种数据源。 核心问题 城市计算是一门新兴的交叉领域，涵盖面较广。从计算机科学的角 度来看，其核心的研究问题主要包括以下 4 个方面： 城市感知 如何利用城市现有的资源（如手机、传感器、车辆和人等），在不 干扰人们生活的前提下自动感知城市的韵律，是一个重要的研究课 题。如何从大量的传感器和设备中高效而可靠地收集、传送数据将 给现有的传感器网络技术带来挑战。此外，人作为传感器参与到城 市感知过程是一个新概念。例如，当一场灾难发生后，有些用户会 在社交网络上发布消息或上传照片。这些用户其实就是在感知发生 在他们身边的事情。用户在出入地铁站时的刷卡行为也间接帮助我 们感知了地铁系统的拥挤和人们的出行。人赋予了传统传感器强大 的感知能力和前所未有的灵活性，但产生的数据更加随机、无序 （如微博上的文字），数据的产生时间也变得难以预测、不可控， 这给数据的收集和解析带来了挑战。 海量异构数据的管理 城市产生的数据五花八门，属性差别很大。例如：气象是时序数据， 兴趣点是空间点数据，道路是空间图数据，人的移动是轨迹数据 （时间+ 空间），交通流量是流数据，社交网上用户发布的信息是 文本或图像数据。如何管理和整合大规模的异构数据是一个新的挑 战。尤其是在一个应用中使用多种数据时，只有提前建立起不同数 据之间的关联，才能使后面的分析和挖掘过程变得高效、可行。 异构数据的协同计算 这部分包括三个方面： (1) 如何从不同的数据源中获取相互增强的知 识是一个新的课题。传统的机器学习往往基于单一数据，如自然语 言处理主要分析文本数据，图像视觉主要基于图像数据。在城市计 算的很多应用中，对不同性质的数据一视同仁，其效果并不理想。 (2) 在保证知识提取深度的同时，如何提高对大数据的分析效率，从 而满足城市计算中众多实时性要求较高的应用（如空气质量预测、 异常事件监测等），也是一个难题。 (3) 数据维度的增加也容易导致 数据稀疏性问题。当数据规模达到一定程度，简单的矩阵分解算法 都变得难以执行。 虚实结合的混合式系统 城市计算常常催生混合系统，如云加端模式，即信息产生在物理世 界，通过终端设备被收集到云端（虚拟世界）分析和处理，最后云 再将提取的知识作为服务提供给物理世界的终端用户。数据在物理 和虚拟世界中来回穿行，从分散到集中，再到分散。这对系统的设 计和搭建提出了更高的要求。基于浮动车数据的快速行车路线设计 以及城市异常事件的监测都是典型的混合式系统。 城市计算的典型应用 城市规划 城市拥堵在一定程度上突显了现有道路网的设计已经不能满足不断 发展的城市交通流的需求。如图 2(a) 所示，利用高速和环路等主干 道将城市分割成区域，然后分析大规模车流轨迹数据在不同区域之 间行驶的一些特征，便可找到连通性较差的区域对，从而发掘现有 城市道路网的不足之处。图 2(b) 给出了基于北京市 3 万多辆出租车 3 个月轨迹数据的分析结果。这些结果可以作为制定下一版交通规 划的参考。同时，通过对比连续两年的检测结果，可以验证一些已 经实施的规划（如新建道路和地铁）是否合理。 城市的不断发展催生了不同的功能区域，如文教、商业和住宅区等。 准确掌握这些区域的分布对制定合理的城市