大数据模板培训课件(ppt).pptVIP

1 2 3 大数据概述 大数据4V特性 相关领域应用 4 相关技术架构 目录 1 大数据概述 大数据产生的背景 什么是大数据 大数据时代 数据量级变化 大数据产生背景 数据量级不断增加 | 根据IDC 监测，人类产生的数据 量正在呈指数级增长，大约每两年翻一番，这个速度在2020 年之前会继续保持下去。 数据结构日趋复杂 | 大量新数据源的出现则导致非结构化、 半结构化数据爆发式的增长 地球上至今的数据量： 在2006 年，个人用户才刚刚迈进TB时代，全球一共新产生了约180EB的数据； 在2011 年，这个数字达到了1.8ZB。 而有市场研究机构预测：到2020 年，整个世界的数 据总量将会增长44 倍，达到35.2ZB（1ZB=10 亿TB） 说明 互联网（社交、搜索、电商）、移动互联网（微博）、物联网（传感器，智慧地球）、车联网、GPS、医学影像、安全监控、金融（银行、股市、保险）、电信（通话、短信）都在疯狂产生着数据。 1GB（Gigabyte）=1024MB 1TB（Terabyte）=1024GB 1PB（Petabyte）=1024TB 1EB（Exabyte） =1024PB 1ZB（Zettabyte）=1024EB 大数据时代 变化 数据 在web 2.0的时代，人们从信息的被动接受者变成了主动创造者 全球每秒钟发送 2.9 百万封电子邮件， 每天会有 2.88 万个小时的视频上传到Youtube， 推特上每天发布 5 千万条消息 量级 每月网民在Facebook 上要花费7 千亿分钟，发送和接收的数据高达1.3EB Google 上每天需要处理24PB 的数据… 数结 多样性 大数据的定义 大数据（big data），指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力来适应海量、高增长率和多样化的信息资产。 想驾驭这庞大的数据，我们必须了解大数据的特征。 2 大数据的4V特性 体量Volume 多样性Variety 价值密度Value 速度Velocity 数据结构 海量 存储能力 读写速度 实时 大数据 分析 hadoop hbase spark strom 大数据典型特性——存储能力变化 ▲ 数据量不断增加，存储能力也随之不断增强 存储能力 大数据典型特性——读写速度提升 ▲与云计算相结合的大数据存储速度显著提升 数据体量 读写速度 读写速度 大数据典型特性——多样性发展 ▲数据结构更加复杂，呈多样性发展 体量Volume 多样性Variety 价值密度Value 速度Velocity 4V 特 性 从非结构化数据的超大规模和增长，比结构化数据增长快10倍到50倍，是传统数据仓库的10倍到50倍，总数据量的80~90% 大数据的异构和多样性，多种形式（文本、图像、视频、机器数据），无模式或者模式不明显， 不连贯的语法或句义 大量的不相关信息对未来趋势与模式的可预测分析，深度复杂分析，机器学习、人工智能Vs传统商务智能(咨询、报告等） 实时分析而非批量式分析，数据输入、处理与丢弃，立竿见影而非事后见效 3 相关领域应用 军事 ①建设公共基础设施应该如何选址？ ②怎样有效提高公众生活安全水平？ ③人口土地、资源利用如何优化？ ④自然灾害、雾霾情况怎样最大化去改善？ ⑤城市交通拥堵情况怎么去解决？ 合理规划很重要 食品安全 消费行业 金融服务 电子商务 气象 交通环保 医疗卫生 军事 食品安全 消费行业 金融服务 电子商务 气象 交通环保 医疗卫生 VS 优化 城市 实时交通信息：利用社交网络和天气数据来优化最 新的交通情况 智能城市系统：自动通知消防、公安、医院等，迅速 到达现场处理 自然灾害预测：实时监测、对潜在危机做出快速响应， 通过卫星和遥感技术,远程获取灾区情况，制定合理 救援计划 智慧城市建设：宏观调控人口、环境、土地 资源利用等，做高效的城市规划建设 正确 方式 VS 改善 生活 穿戴的装备：根据睡眠模式、热量消耗、心率等 时刻监控健康状况 提高医疗和研发：迅速解码DNA，结合海量病例 迅速制定最优治疗方案 改善安全和执法：国家实时监控恐怖主义，企业 防御网络攻击，警察利用社交、公共资源数据来匹 配犯罪人员信息，捕捉罪犯 正确 方式 用户行为数据 用户消费数据 用户社交等UGC数据 培亚马逊、SMG、淘宝 信用卡中心、蚂蚁金服 谷歌地图、大众点评、美团等APP的自动定位系统 互联网金融数据 支付宝、陆金所 用户地理位置数据 互联网大数据 简单罗列几个行业 fackbook、新浪 合理使用大数据 大数据之提高经济策略 金融服务 电子商务 消费行业 根据用户的喜好、交易记录并制定权重匹配商品，提供准确的推送 根