大数据、云计算与移动应用(第1讲)大数据现象与机遇33.pptx

大数据、云计算与移动应用Big Data Cloud Computing第1讲大数据现象与机遇大数据现象与挑战大数据成为全球新热点数据来源：百度搜索量统计大数据现象来自“大人群”泛互联网数据来自大量传感器的机器数据行业内容数据多结构专业数据大数据产生原因Big Data时代到来Web 2.0时代在web 2.0的时代，人们从信息的被动接受者变成了主动创造者全球每秒钟发送 2.9 百万封电子邮件，一分钟读一篇的话，足够一个人昼夜不息的读5.5 年…每天会有 2.88 万个小时的视频上传到Youtube，足够一个人昼夜不息的观看3.3 年…推特上每天发布 5 千万条消息，假设10 秒钟浏览一条信息，这些消息足够一个人昼夜不息的浏览16 年…每天亚马逊上将产生 6.3 百万笔订单…每个月网民在Facebook 上要花费7 千亿分钟，被移动互联网使用者发送和接收的数据高达1.3EB…Google 上每天需要处理24PB 的数据…新摩尔定律全球数据总量每18个月翻番。大数据已经成为一种自然资源大数据不被利用就是成本未来增长不可限量来源：IDC数字宇宙研究报告，2011.11据IDC预测，未来10年全球数据量将以40+%的速度增长，2020年全球数据量将达到35ZB （35,000,000PB），为2009年（0.8ZB）的44倍数据利用比例直降计算速度越来越快，企业却越来越笨。今天很多企业能弄懂7%的企业数据，但这个数字很快会下降到4%，然后继续螺旋式下降。IBM实体分析首席科学家Jeff Jonas数据使用率提升10%的影响大数据成为全球新的经济增长点预测2020年，大数据应用市场规模将达到近2600 亿美元对欧洲的公共管理部门来说，大数据每年有2500 亿欧元的潜在价值--比希腊的GDP 还高公共管理对美国医疗行业来说，大数据每年拥有3000 亿美元的潜在价值零售医疗零售商可以利用大数据使经营利润取得60%的增长大数据市场前景位置服务制造生产商可以利用大数据使产品研发、组装成本削减50%，人力成本削减7%利用全球的个人位置信息，每年可以取得6000 亿美元的消费者价值各国政府高度重视美国：奥巴马政府3.29宣布“Big Data Research and Development Initiative” 将投入超过2亿美元推动大数据提取、存储、分析、共享、可视化等领域的研究，并将其与历史上对超级计算和互联网的投资相提并论中国：工信部物联网十二五规划信息处理技术作为4 项关键技术创新工程之一被提出包括海量数据存储、数据挖掘等IT盛宴什么是Big Data大数据的4V特征大数据是指无法在一定时间内用传统数据库软件工具对其内容进行抓取、管理和处理的数据集合2. Variety1. Volume数据量巨大全球在2010 年正式进入ZB 时代，IDC预计到2020 年，全球将总共拥有35ZB 的数据量结构化数据、半结构化数据和非结构化数据如今的数据类型早已不是单一的文本形式，订单、日志、音频，能力提出了更高的要求4. Velocity3. value沙里淘金，价值密度低以视频为例，一部一小时的视频，在连续不间断监控过程中，可能有用的数据仅仅只有一两秒。如何通过强大的机器算法更迅速地完成数据的价值“提纯”是目前大数据汹涌背景下亟待解决的难题实时获取需要的信息大数据区分于传统数据最显著的特征。如今已是ZB时代，在如此海量的数据面前，处理数据的效率就是企业的生命大数据的构成大数据包括：交易数据和交互数据集在内的所有数据集大数据 = 海量数据 + 复杂类型的数据海量交易数据：企业内部的经营交易信息主要包括联机交易数据和联机分析数据，是结构化的、通过关系数据库进行管理和访问的静态、历史数据。通过这些数据，我们能了解过去发生了什么。海量交互数据：源于Facebook、Twitter、LinkedIn及其他来源的社交媒体数据构成。它包括了呼叫详细记录CDR、设备和传感器信息、GPS和地理定位映射数据、通过管理文件传输Manage File Transfer协议传送的海量图像文件、Web文本和点击流数据、科学信息、电子邮件等等。可以告诉我们未来会发生什么。海量数据处理：大数据的涌现已经催生出了设计用于数据密集型处理的架构。例如具有开放源码、在商品硬件群中运行的Apache Hadoop。大数据涉及的关键技术需求关键技术技术描述针对大量数据进行分布式处理的系统框架大数据采集处理海量数据分布式处理Hadoop 生态系统文本处理技术；自然语言理解； 多媒体处理技术…文本内容分词与分析；图像、音视频分析非结构化数据处理Streaming Data流计算引擎实时数据处理大数据分析交互式可视化探索分析技术通过交互式可视化界面辅助用户进行分析可视化交互界面大规模机器学习技