大数据下的资源整合和知识共享下 ppt课件.ppt

存在问题和挑战 空气质量随着时空变迁非线性变化。 1 受天气、交通、建筑等因素影响。 2 POI POI是地图上一些单位的属性。 难题： 无法用现有方法建模。 1 将城区划分成若干网格，提取每个网格属性。 | 2 针对每种污染情况，进行区间的分类。 | 3 利用半监督学习模型，构建分类器。 | 如何做到的？ 空间 分类器 时间 分类器 这两个分类器，互相迭代、互相增强，最终能够推理出未知区域的空气质量。 分类器 优势 忽略了路网数据和POI数据，跟时间不相关，精度低。 传统的方法 考虑到了时间和空间两个因素，精度比较高。 我们的方法 2.智能交通 问题一： 城市拥堵情况越来越严重，原有的红绿灯控制系统，已表现出明显的缺点。 如何做 分析十字路口的拥堵模式。 对全城的交通路况进行模拟。 通过车的速度，来计算路网的速度，通过路网的速度，来探测拥堵的事件。 问题二：全城的汽车油耗与尾气排放实时监控 需要解决： 过去一个小时，全城油耗是多少？排放多少尾气？ 汽车尾气排放是不是城市污染的主要原因？ 目标： 在任何时间任何路段估计出汽车汽油消耗和尾气排放。 使用数据： 出租汽车GPS轨迹数据 路网数据 POI数据 天气数据 大数据解决方案 通过TSE（Travel Speed Estimation），估计其他路网车的速度。 通过TVI（ Traffic Volume Inference ），推断路网上有多少辆车。 利用了车的GPS轨迹数据 （二）智能社会 大数据与智能社会，解决的是与城市居民息息相关的问题。 1.大数据与智能超市 布局是怎么设计的？ 货物是怎么摆放的？ 为什么要搞促销活动？ A C B 目标：探索消费者购物行为，实现对超市科学布局以及商品货架摆放；此外，为营销策划提供决策支持，最终提供春节促销方案。 可用数据：流水表、会员表、支付表、折扣表 宏观统计 大数据解决方案 数据员利用传统的购物篮数据，还有互联网的一些非结构化数据，通过数据的清洗、统计、分析、挖掘、可视化，最终提供春节的促销方案。 策略 建议 数据 挖掘 数据 统计 数据 清理 4 3 2 1 2012年5月4日的促销受到影响，是因为5月2日发生了大的暴雨，如何进行分析？ 2.大数据与电商 用户行为信息就是用户在网站上发生的所有行为，如搜索、浏览、打分等，甚至包括在第三方网站上的相关行为。 年龄？ 男/女？ 喜好？ 社交？ 推理用户的性别和年龄。 字段 字段说明 sessionID 用户浏览会话ID sessionstarttime 会话的起始时间 sessionendtime 会话的终止时间 listofproductIDs 会话中访问的商品ID列表 gender 用户性别 推荐 好友推荐 商品推荐 POI推荐 电影推荐 音乐推荐 3.大数据与推荐系统 4.大数据与社交媒体 one to one 单点对单点的信息的交换。 one to many 单点与多点，即广播方式。 many to many 多点对多点的交互。 传统 媒体 社交 媒体 社交网络分析 情感分析是分析一句话是主观的描述还是客观描述； 如果是主观的描述，分析表达的是积极情绪还是消极情绪。 social tie analysis social influence analysis 分析方法 情感分析的作用 政府 监控社交网络上用户的情绪，对社会安全维稳有积极作用。 A 商业 看用户喜欢什么，然后基于用户的喜好，制定推荐策略。 B 5.大数据与社会问题监管 食品安全问题 01 环境污染问题 02 交通违章问题 03 社会不文明现象 04 6.大数据与日常运作 利用员工的打卡行为，能够找到他们之间的潜在社交网络，精确地对员工的考勤行为进行评估。 以打卡为例 总结 ? B: Big data, Big value Big challenges, ? M: Data Management, Mining and Machine learning ? W: Win-Win-Win: people, city and society 只有利用大数据的数据管理、挖掘，才能够达到人类社会以及城市的三赢。 原数据 修改为 元数据 模板来自于 * * * 一、热词解释 二、国际大数据案例分析及相关技术介绍 三、大数据实际项目解析 目 录 （一）国际大数据案例分析 （二）大数据相关技术 二、国际大数据案例分析 及相关技术介绍 （二）大数据相关技术 1.数据获取与储存 Hadoop是一个能够对大量数据进行分布式处理的开源软件框架。它支持数据密集型分布式应用并以Apache2.0为许可协议发布。它支持在商品硬件构建的大型集群上运行应用程序。Hadoop是以一种可靠、高效、可伸缩的方