大数据讲座91.pptVIP

* 换一个图 * 认为: * * NWU 智能信息处理研究所 * 群体智慧 * NWU 智能信息处理研究所 * 群体智慧 * NWU 智能信息处理研究所 * 群体智慧 * NWU 智能信息处理研究所 * 群体智慧 社会计算的由来 社会计算 微博——话题跟踪？舆情分析？情感挖掘？ 微博数据处理技术研究 微博(微信)数据分析及分析软件研发是又一热点。 （从运营角度：如监测用户粘度、规模、活跃度、流量等信息；听众数、转播数、转发率、平均评论次数；发布微博的方式：网页、手机、客户端；用户的背景资料分析，地域、年龄、性别、学历、职业、行业、薪酬情况等；从营销角度：用户分析，用户引导等等）。 * NWU 智能信息处理研究所 * 例：数字脚印与城市计算 随着感知、计算、通讯技术的日新月异，记录人类日常行为轨迹、物理世界的动态变化以及人类与虚拟世界交互等的数字印迹正以前所未有的规模积累和扩张，形成了大数据，可把这些数据称为“数字脚印”。 数字脚印除了出租车GPS 轨迹、基于位置的移动社交网络数据和移动智能电话记录等外，常见的还有城市公共自行车租借记录、乘客公共交通刷卡记录、城市居民家庭和机构用电用水记录等。 城市计算可概括为通过城市感知、数据挖掘、智能提取和服务提供四大环节来建立一个生态循环系统。 * NWU 智能信息处理研究所 * 城市计算与大数据 城市计算是一门新兴的交叉领域，是计算机学科与传统城市规划、交通、能源、经济、环境和社会学等多个领域在城市空间的交汇。基本框架包括城市感知及数据捕获、数据管理、城市数据分析和服务提供； 城市感知: 利用城市现有的资源（如手机、传感器、车辆和人等），在不干扰人们生活的前提下自动感知城市的韵律； 海量异构数据的管理: 城市产生的数据模态多，属性差别大。如：气象——空间点数据，道路——空间图数据，人的移动——轨迹数据（时间+ 空间），交通流量——流数据，社交网上用户发布的信息——文本或图像数据； 异构数据的协同计算： (1) 从不同的数据源中获取相互增强的知识是新的课题。(2) 在保证知识提取深度的同时，提高分析效率，从而满足众多实时性要求较高的应用（如空气质量预测、异常事件监测等）是难题。(3) 数据维度增加导致了数据稀疏性问题。 虚实结合的混合式系统：城市计算催生了混合系统，如云加端模式，即信息产生在物理世界，通过终端设备被收集到云端（虚拟世界）分析和处理，最后云再将提取的知识作为服务提供给物理世界的终端用户。 * NWU 智能信息处理研究所 * 城市计算的基本框架 * NWU 智能信息处理研究所 * 城市计算的主要技术 传感器技术：传感器网络、主动参与式感知、被动群体感知 数据管理技术：流数据管理、轨迹管理、图数据管理、时空索引等 数据挖掘技术: 异构数据互增强、稀疏数据处理等 优化技术：最优路径等 混合数据的可视化技术：结果显示 应用：城市规划、智能交通、环境监测与管理、社交娱乐、能源消耗、城市经济、城市安全和应急响应等 * NWU 智能信息处理研究所 * 数字脚印与城市计算研究 出租车GPS 数字脚印：不同时刻的城市热点检测、城市区域的功能特性分类、路径规划、出租车司机寻客策略、异常轨迹检测、城市道路交通流量预测等；　 移动社交网络数字脚印：探索个人和群体移动模式、群体事件监测、个性化的兴趣点推荐和搜索服务、交叉重叠式社群的发现与诠释等； 移动电话数字脚印：测量城市交通系统效率、优化城市道路、人的移动性、地区经济发展、传染病预测、监测群体移动位置预测群体事件等。 * NWU 智能信息处理研究所 * 移动社交网络感知计算模型 面向移动应用的大数据 基于大数据的软件设计模型 软件服务工程中的密集型数据 众包服务开发中的离线与在线密集型数据 大数据生命期CKAS 软件所：海－云数据管理平台 Seacloud DM体系结构 大数据驱动架构概念图 五、2014年大数据发展趋势预测 * NWU 智能信息处理研究所 * 宏观预测 学术界66位，产业界28位，政府4位， 海外13位，数学物理金融管理等11位 CCF 大数据专家委员会 2012.6CIC 大数据专家委员会 2012.10 2014年大数据十大发展趋势 CCF2013.12.5 大数据从“概念”走向“价值” 大数据处理架构的多样化模式并存 大数据安全与隐私 大数据分析与可视化成为热点 大数据产业成为战略性产业 数据的商品化和数据共享联盟化 基于大数据的推荐和预测将逐步流行 深度学习与大数据智能成为支撑 数据科学的兴起 大数据生态环境逐步完善 最受瞩目的大数据应用领域 互联网与电子商务 金融、健康医疗、生物信息与制药 城镇化与智慧城市 社会安全与犯罪侦察 网络空间安全与对抗 商