电子商务大数据分析教学课件3-轨迹数据挖掘.pptxVIP

第2章：数据采集和预处理电子商务大数据分析孙宏亮第3章轨迹大数据挖掘技术第3章 轨迹大数据挖掘 第3章轨迹大数据挖掘技术3.1 轨迹大数据现状与应用时空轨迹数据是地理空间和时间轴形成的多维空间的一条曲线，表示移动对象在一段较长时间范围的位置变化。代表性轨迹数据:车辆轨迹，移动轨迹，手机轨迹，公交轨迹，卡口数据，行为轨迹。轨迹数据的4V:大规模(volume),实时高速(velocity)，多样性(variance),高价值(value).第3章轨迹大数据挖掘技术移动对象轨迹数据库的特征：时空采样性：轨迹是时空环境下的采样序列。异频采样性:轨迹的采样间隔差异显著。导航服务秒级，社交媒体行为的小时级采样，数据质量差：连续运动的轨迹被离散化表示。路网相关性：交通轨迹数据做GPS空间向路网空间的映射。第3章轨迹大数据挖掘技术轨迹数据应用领域：大众化经验路径推荐交通路况精准预测城市规划智能决策个性化服务与活动推荐出租车服务第3章轨迹大数据挖掘技术轨迹数据应用领域：大众化经验路径推荐：从南京南站到玄武湖的导航地址：在不同的时间，不同的交通条件下，结果也是不同的。基于大众的轨迹数据，寻找最优的导航路径。第3章轨迹大数据挖掘技术轨迹数据应用领域：交通情况精准预测通过轨迹流的统计，评估不同区域的进出流量，获取实时的交通态势。通过轨迹分析，综合运用大数据的外部性，做到指挥决策的先知先觉。第3章轨迹大数据挖掘技术轨迹数据应用领域：城市规划智能决策通过轨迹，分析不同城市不同区域的社会功能，对城市不同区域的发展和规划进行辅助决策。第3章轨迹大数据挖掘技术轨迹数据应用领域：个性化服务与活动推荐社交媒体的轨迹记录了用户的位置行为，通过对轨迹的行为理解，为用户推荐个性化的景点。基于位置的广告和推荐。第3章轨迹大数据挖掘技术轨迹数据应用领域：出租车服务监控出租车的行驶路线，通过海量的历史数据，找到出租车的最优路线，对绕路等行为进行欺诈检测。第3章轨迹大数据挖掘技术轨迹数据的金字塔：第3章轨迹大数据挖掘技术轨迹数据挖掘：第3章轨迹大数据挖掘技术轨迹数据挖掘的综述文章 Trajectory Data Mining: An Overview YU ZHENG Microsoft Research [1][1] Zheng Y. Trajectory data mining: an overview[J]. ACM Transactions on Intelligent Systems and Technology (TIST), 2015, 6(3): 29.第3章轨迹大数据挖掘技术轨迹数据预处理技术轨迹噪声数据： 产生的原因：由于数据误差，导致位置在路网之外。第3章轨迹大数据挖掘技术轨迹数据预处理技术轨迹噪声数据： 如何解决问题？分别对横坐标和纵坐标进行计算滑动窗口(sliding window)均值过滤(Mean filter) 对较大的错误值比较敏感(1,3,4,7,1010) - 2*109中值过滤(Median filter) 对较大的错误值不敏感(1,3,4,7,1010) - 4.当窗口较小的时候，对于连续的错误不再适用。如(p10, p11,p12)第3章轨迹大数据挖掘技术卡尔曼滤波(Kalman filtering): 线性模型假设和高斯噪声分布。使用当前的状态，预测或更正下一个状态。下一个状态线性独立于当前的状态。粒子滤波(Particle filtering)模拟测量噪声和轨迹。基于启发式的滤波本质上是适用估计值替代噪声。P4-p5, p5 - P6, p9 - P10, p11 - P12这些速度超过了异常的速度，需要过滤。轨迹数据预处理技术轨迹噪声数据： 第3章轨迹大数据挖掘技术轨迹数据预处理技术驻留点检测：什么是驻留点？用户在某个位置停留了一段时间。 (p3)-(stay point 1)用户在某个位置停留了一段时间。驻留点2，用户围绕某个位置驻留(p5,p6,p7,p8) - (stay point 2)。图(B) 用户的轨迹在某个地点范围内。 图(c) 用户的轨迹围绕着某个地点进行。从空间的点序列，变成了有意义的地点序列第3章轨迹大数据挖掘技术轨迹压缩：为什么做轨迹压缩？原始轨迹数据的空间位置以每秒的精度进行保存。真实的应用并不需要这样高精度的数据。线下压缩：对全部的轨迹数据进行压缩，时间范围已知。在线压缩：对实时的轨迹数据进行压缩。第3章轨迹大数据挖掘技术轨迹压缩研究问题：如何把这个轨迹用更少的点表示呢？第3章轨迹大数据挖掘技术轨迹压缩目标：减少轨迹数据的大小，保留精度。性能指标：处理时间压缩率错误率原轨迹上某点的位置和对应于压缩轨迹的某点位置的距离。第3章轨迹大数据挖掘技术轨迹压缩PED (Perpendicular Eucli