大数据汇报申笑晨讲述.pptVIP

3.2应对数据的稀疏性 实现这个目标有如下三种方法： 1）采用矩阵（张量）分解算法和协同过滤。 基于张量分解和协同过滤的城市噪音分析 * 2）使用半监督学习算法。 如使用半监督学习算法来弥补因空气监测站少而带来的训练样本稀疏性问题。半监督学习从具有不同分布的其他数据源中获取知识，从而解决一个机器学习任务中训练样本不足的问题。比如，可否根据出租车在路网上的分布来学习出其他车辆的分布情况。 3）基于相似性的聚类算法。假设需要根据埋在地面的线圈传感器来估计行驶在道路上的车辆数，由于并不是所有路面都埋有线圈，很多道路上的流量无法估计。根据道路的拓扑结果、周边的兴趣点分布等信息，我们可以计算不同道路之间的相似性，从而对道路进行聚类。这样，被分在同一个类里的道路很可能具有相同的车流模式。于是，在一个类中，可以将有传感器道路的读数赋给那些没有传感器的道路。 * 4 总结 - Contents 目录 * 城市计算是一个新兴且非常重要的交叉领域，是计算机学科与传统城市规划、交通、能源、经济、环境和社会学等多个领域在城市空间的交汇。它关系到人类未来的生活质量和可持续性发展。大数据时代的到来为城市计算提供了更多的机遇和更广阔的前景。 * Thanks! * * * * * * * * * * * * * 城市计算概述 汇报人：申笑晨 导师：韩萌 * 1 城市计算的概念和框架 - 2 城市计算的典型应用 - 3 城市计算的主要技术 - 4 总结 - Contents 目录 * 1 城市计算的概念和框架 - Contents 目录 * 城市计算的定义： 城市计算是一个交叉学科，是计算机科学中以城市为背景，与城市规划、交通、能源、环境、社会学和经济等学科融合的新兴领域。更具体地说，城市计算是一个通过不断获取、整合和分析城市中多种异构大数据来解决城市所面临的挑战（如环境恶化、交通拥堵、能耗增加、规划落后等）的过程。 * 城市计算＝无处不在的感知技术+ 高效的数据管理和分析算法+ 新颖的可视化技术 ＝＞提高人们生活品质+ 保护环境+ 促进城市运转效率 * 城市计算的基本框架： * 城市计算的核心问题： 1.城市感知（计算） 如何利用城市中现有的资源在不干扰人们生活的前提下，不断地自动感知城市的韵律；如何从大量的传感器和设备中高效而可靠地收集、传送数据。 面临的挑战： 1）产生的数据自由无序、间接隐晦。 2）数据产生的时间难以预测且不可控；数据的空间分布不均匀。 3）不能期望所有的用户都参与到感知过程中来贡献数据。 因此，城市感知不再只是感知的过程，也包含能够从复杂、隐晦、缺失和非均匀分布的数据中获取有效知识的计算环节。 * 2.海量异构数据的管理。 城市产生的数据属性差别很大。 如何管理和整合大规模的异构数据将是一个新的挑战。 尤其，在一个应用中使用多种数据时，只有提前建立起不同数据之间的关联，才能让后续的分析和挖掘过程高效、可行。 * 3.异构数据的协同计算。 1）如何从不同的数据源中获取相互增强的知识； 2）如何提高大数据的分析效率； 3）如何应对大数据的数据稀疏性问题。 4.虚实结合的混合式系统。 城市计算常常催生混合系统； 如何对不同数据源的同步、存储和更新。 * 城市计算的应用分类： * 2 城市计算的典型应用 - Contents 目录 * 应用一：城市规划： * 应用二：智能交通 如何估计路网上一条路线的通行时间？ 利用浮动车（如出租车）的GPS轨迹数据来计算道路的通行时间。 此类方法面临的挑战： 1）数据稀疏； 2）数据的拼接。 * 根据历史和实时的出租车轨迹数据，并结合兴趣点和路网结构等地理特性，利用矩阵的联合分解和协同过滤机制来实时计算任意单个路段的通行时间，填补缺失的数据。然后，再利用动态规划算法来找到不同轨迹的最佳组合方式，得到最优时间估计。如图所示，基于地标图的T-DRIVE系统。利用装有GPS传感器的出租车来感知交通流量，并为普通用户设计真正意义上的最快驾车线路。 * T-FINDER系统：提供了一个司机和乘客的双向推荐服务 T-SHARE系统：实时动态拼车 * 应用三：城市空气 * 群体感知的方法： 例如，“哥本哈根车轮”项目在自行车车轮里安装一些传感器，通过用户手机将收集的数据发送至后台服务器。依靠群体的力量，我们就可以感知整个城市不同角落的温度、湿度和二氧化碳浓度。 局限：由于受传感器大小和感知时间的限制，这种方式只适用于部分气体