大数据及其典型应用 课件.pptVIP

信息资源管理-扩展知识大数据及其典型应用;引子;一、大数据的相关概念 二、国内外大数据分析的研究现状 三、构建大数据分析平台 四、公共安全领域大数据应用案例 ;一、大数据的相关概念;数据管理技术发展历史;大数据发展背景;;“大数据”是如何产生的？ ;大数据时代的爆炸增长;大数据的4V特征;大数据的构成;分析技术： 数据处理：自然语言处理技术 统计和分析：A/B test; top N排行榜；地域占比；文本情感分析 数据挖掘：关联规则分析；分类；聚类 模型预测：预测模型；机器学习；建模仿真 大数据技术： 数据采集：ETL工具 数据存取：关系数据库；NoSQL；SQL等 基础架构支持：云存储；分布式文件系统等 计算结果展现：云计算；标签云；关系图等;大数据的市场潜力;利用GPS数据了解交通状况;理解大数据;二、国内外大数据分析的研究现状;流感趋势预测;全球每星期会有数以百万计的用户在网上搜索健康信息。正如您所预料的那样，在流感季节，与流感有关的搜索会明显增多；到了过敏季节，与过敏有关的搜索会显著上升；而到了夏季，与晒伤有关的搜索又会大幅增加。 某些搜索字词非常有助于了解流感疫情。Google 流感趋势会根据汇总的 Google 搜索数据，近乎实时地对全球当前的流感疫情进行估测。 搜索流感相关主题的人数与实际患有流感症状的人数之间存在着密切的关系。当然，并非每个搜索“流感”的人都真的患有流感，但将与流感有关的搜索查询汇总到一起时，便可以找到一种模式。将统计的查询数量与传统流感监测系统的数据进行了对比，结果发现许多搜索查询在流感季节确实会明显增多。通过对这些搜索查询的出现次数进行统计，便可以估测出世界上不同国家和地区的流感传播情况。 Detecting influenza epidemics using search engine query data, Nature 457, 1012-1014 (19 February 2009) ;;;;;;;;;淘宝的数据化运营——实例分析;三、构建大数据分析平台;四、公共安全领域大数据应用案例;面向公共安全领域的大数据分析技术平台;刑侦的犯罪预防 搜集犯罪的信息 推断罪犯的习惯 预测罪案的发生 非法出入境判别 海关走私模式的分析 ???急事件的处理 人员的紧急疏散 资源的紧急调配 紧急状态的安全管理 紧急事件发生的预演 交通管理 ;信息的来源;问题的关键;飞速膨胀的信息 多种学科的边缘结合 有限的记忆和注意范围 长时间持续的分析工作 严重依赖分析人员的经验;限制…;当前的分析需求;定性, 定量分析;;典型应用 1 –刑事罪案自动分析;参与分析的数据;模拟案例;新的信息;新的信息;新的信息;本月有事情 (突发事件) 在巴勒莫发生;系统的功能;在信息的海洋中搜索;Polly Klaas – 12 岁 1993 年10月被人从加利福尼亚的家中被诱拐 警察拘捕了诱拐罪犯 – 在犯罪记录系统中进行查询 – 没有任何犯罪记录，所以罪犯被释放 罪犯随后就杀害了 Polly 如果警察查询了虐待儿童数据库，他会发现大量的记录;恐怖事件 #2;恐怖事件 #3 9.11;唯一原因 – 缺乏信息的关联分析;唯一原因 – 缺乏信息的关联分析;关联 -- 复杂的关系; 谢 谢！