2019年Module大数据基础知识.pdfVIP

大数据基础知识 Copyright © 2010 Huawei Technologies Co., Ltd. All rights reserved. 目录 1. 大数据概念与hadoop简介 2. 大数据行业应用 3. 大数据架构简介 Copyright © 2010 Huawei Technologies Co., Ltd. All rights reserved. Page 1 Big Data名词由来 2011年5 月，在 “云计算相遇大数据”为主题的EMC World 2011 会议中 ，EMC 抛出了Big Data概念 20世纪90年代，数据仓库之父的Bill Inmon就经常提及Big Data Copyright © 2010 Huawei Technologies Co., Ltd. All rights reserved. Page 2 大数据市场趋向稳定 Copyright © 2010 Huawei Technologies Co., Ltd. All rights reserved. Page 3 大数据定义-不同的声音 大量数据管理 大量数据 数据分析 存储 海量计算 Copyright © 2010 Huawei Technologies Co., Ltd. All rights reserved. Page 4 什么是大数据 维基百科：“大数据是指无法在一定时间内用常规软件工具对其内容进行抓取、管理和处理的数据集合” IDC ：一般会涉及2种以上数据形式，数据量100T以上，且是高速、实时数据流；或者从小数据开始，但数据每年增长60% Gartner ：大数据的四个V ：Volume、Variety、Velocity、Value Volume ：数据量巨大 •集中储存/集中计算已经无法处理 巨大的数据量 Variety ：种类和来源多样化 • 日志/图片/视频/文档/地理位置 … Velocity ：分析处理速度快 • 海量数据的及时有效分析 Value ：价值密度低，商业价值高 •大量的不相关信息的进行复杂深度 分析，深挖价值 精准营销深入洞察 统一监控分析 另外IBM有大数据5V特征定义，增加了一个Veracity （真实性） Copyright © 2010 Huawei Technologies Co., Ltd. All rights reserved. Page 5 海量数据从哪里来－人 在web 2.0的时代，人们从信息的被动接受者变成了主动创造者 全球每秒钟发送 2.9 百万封电子邮件，一分钟读一篇的话，足够一个人昼夜不息的读5.5 年… 每天会有 2.88 万个小时的视频上传到Youtube ，足够一个人昼夜不息的观看3.3 年… 推特上每天发布 5 千万条消息，假设10 秒钟浏览一条信息，这些消息足够一个人昼夜不息的浏览16 年… 每天亚马逊上将产生 6.3 百万笔订单… 每个月网民在Facebook 上要花费7 千亿分钟 ，被移动互联网使用者发送和接收的数据高达1.3EB… Google 上每天需要处理24PB 的数据… Copyright © 2010 Huawei Technologies Co., Ltd. All rights reserved. Page 6 海量数据从哪