大数据时代培训资料.pptVIP

大数据应用案例（“数字黄河”） * 大数据 挑战 数据激增，IT系统负担加重； 地域分隔，信息孤岛拉低效能； 无法共享，数据同步成为难题； 标准各异，数据规范有待统一。 需求 制定短期和长期技术规划，以适应未来信息系统的发展。 采用大数据方案后价值体现 解决跨平台异构应用系统的数据共享与集成问题 黄河水利委员会各部门随时获取其权限范围内的最新数据，而无须将其存储在本部门系统中； 消除信息孤岛，实现数据统一管理 有效消除了各业务系统和各组织结构之间的信息孤岛，简单获取黄河数据资源的单一视图，并确保了数据的完整性、及时性、准确性和一致性，同时首次实现元数据的可视化统一管理 IBM Info-Sphere 第三十一页，共四十页。 * 互联网行业拥抱大数据的关键因素 互联网行业对数据实时分析要求较高，例如广告监测、B2C业务，往往要求在数秒内返回上亿行数据的分析，从而达到不影响用户体验和快速准确营销的目的。 目前互联网企业面对大数据，会普遍感觉到实时分析能力差、海量数据处理效率低、缺少分析方法、分析软件能力差等问题。 互联网行业大数据分析面临的主要问题 互联网大数据技术的应用，会首先带动社会化媒体、电子商务的快速发展，其他的互联网分支也会紧追其后，整个行业在大数据的推动下将会蓬勃发展。 互联网拥抱大数据 第三十二页，共四十页。 * 医疗大数据应用场景 医疗行业产生的数据量主要来自于PACS影像、B超、病理分析等业务所产生的非结构化数据。人体不同部位、不同专科影像的数据文件大小不一，PACS网络存储和传输要采取不同策略。面对大数据，医疗行业遇到前所未有的挑战和机遇。 医疗行业大数据应用场景非常多，右图仅以临床操作和研发为例，展示医疗行业大数据应用场景。 对于公共卫生部门，可以通过过覆盖全国的患者电子病历数据库，快速检测传染病，进行全面的疫情监测，并通过集成疾病监测和响应程序，快速进行响应。 比较效果研究 临床操作 临床决策支持系统 医疗数据透明度 远程病人监控 研发 预测建模 提高临床试验设计的统计工具和算法 疾病模式的分析 第三十三页，共四十页。 艾普云—Openstack云系统专家 大数据时代 Is coming…… 第一页，共四十页。 目录 什么是Big Data 1. * 大数据市场简析 2. 云与大数据 3. 大数据应用案例 4. 艾普云在大数据时代的布局 5. 第二页，共四十页。 20世纪90年代，数据仓库之父的Bill Inmon就经常提及Big Data 2011年5 月，在“云计算相遇大数据” 为主题的EMC World 2011 会议中，EMC 抛出了Big Data概念 Big Data名词由来 第三页，共四十页。 全球每秒钟发送 2.9 百万封电子邮件，一分钟读一篇的话，足够一个人昼夜不息的读5.5 年… 每天会有 2.88 万个小时的视频上传到Youtube，足够一个人昼夜不息的观看3.3 年… 推特上每天发布 5 千万条消息，假设10 秒钟浏览一条信息，这些消息足够一个人昼夜不息的浏览16 年… 每天亚马逊上将产生 6.3 百万笔订单… 每个月网民在Facebook 上要花费7 千亿分钟，被移动互联网使用者发送和接收的数据高达1.3EB… Google 上每天需要处理24PB 的数据… 在web 2.0的时代，人们从信息的被动接受者变成了主动创造者 Big Data时代到来 第四页，共四十页。 TB PB ZB EB 大量新数据源的出现则导致了非结构化、半结构化数据爆发式的增长 根据IDC 监测，人类产生的数据量正在呈指数级增长，大约每两年翻一番，这个速度在2020 年之前会继续保持下去。这意味着人类在最近两年产生的数据量相当于之前产生的全部数据量 数据量增加 数据结构日趋复杂 这些由我们创造的信息背后产生的这些数据早已经远远超越了目前人力所能处理的范畴 大数据时代正在来临.. Big Data时代到来 第五页，共四十页。 1. Volume 2. Variety 3. value 4. Velocity 结构化数据、半结构化数据和非结构化数据 如今的数据类型早已不是单一的文本形式，订单、日志、音频，能力提出了更高的要求 沙里淘金，价值密度低 以视频为例，一部一小时的视频，在连续不间断监控过程中，可能有用的数据仅仅只有一两秒。如何通过强大的机器算法更迅速地完成数据的价值“提纯”是目前大数据汹涌背景下亟待解决的难题 实时获取需要的信息 大数据区分于传统数据最显著的特征。如今已是ZB时代，在如此海量的数据面前，处理数据的效率就是企业的生命 大数据是指无法在一定时间内用传统数据库软件工具对其内容进行抓取、管理和处理的数据集合 什么是Big Data 数据量巨大 全球在2010 年正式进入ZB