大数据及其典型应用_.ppt

信息资源管理-扩展知识大数据及其典型应用;*;一、大数据的相关概念 二、国内外大数据分析的研究现状 三、构建大数据分析平台 四、公共安全领域大数据应用案例 ;一、大数据的相关概念;数据管理技术发展历史;大数据发展背景;大数据时代的爆炸增长;大数据的4V特征;大数据的构成;分析技术： 数据处理：自然语言处理技术 统计和分析：A/B test; top N排行榜；地域占比；文本情感分析 数据挖掘：关联规则分析；分类；聚类 模型预测：预测模型；机器学习；建模仿真 大数据技术： 数据采集：ETL工具 数据存取：关系数据库；NoSQL；SQL等 基础架构支持：云存储；分布式文件系统等 计算结果展现：云计算；标签云；关系图等;*;利用GPS数据了解交通状况;理解大数据;二、国内外大数据分析的研究现状;流感趋势预测;*;;;*;;*;;;;分析流程 1. 分析主题确定及数据指标的选择；2. 数据仓库数据提取及清洗；3. 不相关指标剔除；4. 用训练数据建立模型；5. 用测试数据检验模型；6. 预测新的流失用户，并提取用户名单； 7.制订挽留策略：对圈定的客户进一步进行分群，然后逐群制 订有针对的挽留策略。比如有的群组是属于夜间通话多（和 总体的均值相比）的客户，那么针对他们的挽留策略可能是 推荐一些夜间通话优惠的资费方案。 8.实施挽留行动、收集客户反馈。 9.评估挽留效果： 　　;面向公共安全领域的大数据分析技术平台;刑侦的犯罪预防 搜集犯罪的信息 推断罪犯的习惯 预测罪案的发生 非法出入境判别 海关走私模式的分析 紧急事件的处理 人员的紧急疏散 资源的紧急调配 紧急状态的安全管理 紧急事件发生的预演 交通管理 ;信息的来源;问题的关键;飞速膨胀的信息 多种学科的边缘结合 有限的记忆和注意范围 长时间持续的分析工作 严重依赖分析人员的经验;限制…;当前的分析需求;定性, 定量分析;;*;罪犯 – 犯罪技巧 (爆炸-爆炸物制作, 杀人方式, 动机等等), 属于特定团伙和团伙中的角色 (计划者, 辅助者, 领导者, 执行者/马仔等等), 户籍地/暂住地, 入狱历史 团伙 – 成员, 角色 潜在目标 – 人群/公共机构/商业机构, 他们的位置 知识和经验 – 这些因素如何相互作用 – 包括外在的影响和经验 (过去发生的事件) 新的信息会源源不断 … ;- 西西里, 巴勒莫, 4/4/03 : “Corradi 拘捕了 Don Marcello” (公共信息);理解信息 Bob 是 Marcello 家族的成员 Bob 是家族中的计划者和谈判代表 Marcello 家族的势力只限于巴勒莫 谈判代表到外面的地区寻找家族内没有的炸弹专家 炸弹制造和使用是 Marcello 家族没有的技术, Parsi 地区的黑手党家族有这样的专家 Per 是Parsi 地区的黑手党炸弹专家 同时间服刑的罪犯经常会一起合作犯案 Per 和 Bob 有同时间服刑的历史 Marcello 家族有可能以炸弹攻击的方式报复 Don Marcello 的被拘捕 Bob 有可能计划用炸弹攻击巴勒莫警方;巴勒莫, 4/4/03 : “Corradi 拘捕了 Don Marcello” (公共信息) 巴勒莫, 5/5/03 : “Bob 在 Parsi 出现” (警方通报) 罗马, 5/5/03 : “Fabrizzi 将会29号在巴勒莫法庭宣判 Don Marcello (公共信息) 巴勒莫, 7/5/03 : “这个月巴勒莫会发生一些事情” (警方情报) ;如果我们拘捕 Per? 炸弹攻击的威胁会降低, 但是不会消失 – Marcello 家族的谈判代表还知道其他的炸弹专家, 等等… 如果我们同时拘捕 Per 和 Bob? ;本月有事情 (突发事件) 在巴勒莫???生;系统的功能;在信息的海洋中搜索;Polly Klaas – 12 岁 1993 年10月被人从加利福尼亚的家中被诱拐 警察拘捕了诱拐罪犯 – 在犯罪记录系统中进行查询 – 没有任何犯罪记录，所以罪犯被释放 罪犯随后就杀害了 Polly 如果警察查询了虐待儿童数据库，他会发现大量的记录;恐怖事件 #2;恐怖事件 #3 9.11;19 个恐怖分子中的6 个在中央情报局(CIA)的监控名单上 16 个人获得美国的签证 (旅游, 学生, 工作) 最起码有 4 个人有驾驶执照；所有人都有社会保险号码 (SSN) 关键人物使用真名租车，购买飞机票，等等 州法律执行机构和其他联邦特工不知道他们在哪里，甚至也不知道有渠道可以监控他们 信息全部都可获得，但是没有分析，没有共享;唯一原因 – 缺乏信息的关联分析;关联 --