UCfor大数据解决方案.ppt

HDS 统一计算平台的大数据解决方案 HDS channel enablement Team Cicean Wang 议程 什么是大数据？ HDS 和大数据 大数据 应用案例 大数据成功案例 什么是大数据？ 它真正的含义是什么？ 大数据及大数据时代 “数据，已经渗透到当今每一个行业和业务职能领域，成为重要的生产因素。人们对于海量数据的挖掘和运用，预示着新一波生产力增长和消费者盈余浪潮的到来”    ———麦肯锡 您将会面对的是…… 16.4 Exabytes In 2010 35 Zxabytes In 2020 IDC® 做出估算 30倍 这不是简单的数据增多的问题 而是全新的问题 大数据的定义（4V） 海量（Volume） 多样（Variety） 快速（Velocity） 价值（Value） 3亿用户，每天上亿条微博 中型城市每月数十亿智能电表数据 2015年全球移动终端产生的数据量6300PB 卫星图像 个人信息 M2M 日志文件 传感图像 视频 音频 非结构化数据将占到 75%-85% 增长速度快 用户基数庞大 设备数量众多 实时海量数据 数据指数级别增长 单条数据并无太多价值，但庞大的数据量蕴含巨大财富 存储 理解 控制 大数据最终的目的 大数据可以从根本上提高洞察力 获得洞察力！ 跨越 鸿沟 $ 大数据分析处理的最终目标！ 从复杂的数据集合中发现新的关联规则， 继而进行深度挖掘，得到有效用的新信息 大数据-第三次浪潮的华彩乐章 2012年3 月份美国奥巴马政府发布了《大数据研究和发展倡议》(Big Data Research and Development Initiative)，投资2 亿以上美元，正式启动“大数据发展计划”。计划在科学研究、环境、生物医学等领域利用大数据技术进行突破。奥巴马政府的这一计划被视为美国政府继信息高速公路(Information Highway)计划之后在信息科学领域的又一重大举措。与 2013年12月 贯彻落实《广东省信息化发展规划纲要（2013-2020年）》，加快物联网、云计算、大数据等新一代信息技术创新应用，推进我省智慧城市建设，打造珠三角世界级智慧城市群，全面提升全省信息化发展水平。 广东省委副书记 朱小丹 广东省经济和信息化委员会副主任，党组副书记邹生 我们为什么需要大数据 在没有大数据技术之前，无论是机器，还是人工方式，无法获得全量样本。以人口普查为例，如果挨家挨户调研，甚至随机抽取做调研，都非常耗时，费力，很多国家甚至做不到每年发布一次 在没有大数据技术之前，大量海量数据中非结构化数据，分析与计算，几乎是一个不可能逾越的鸿沟，更别说挖掘价值了。 在没有大数据技术之前，分析数据仅作为参考目前现状的理论依据，也就是经验说话，数据无法实时展现价值。 在没有大数据技术之前，有原因所以有结果，维度由于分析能力有限，无法表现其真正意义，相关而非因果。 价值变革 经济变革 大数据应用案例 将大数据承诺转化为巨大的价值 10 从“谷歌流感趋势”工具看大数据应用 跟踪搜索词相关数据来判断全美地区的流感情况 这个工具工作的原理大致是这样的：设计人员置入了一些关键词（比如温度计、流感症状、肌肉疼痛、胸闷等），只要用户输入这些关键词，系统就会展开跟踪分析，创建地区流感图表和流感地图。谷歌多次把测试结果（蓝线）与美国疾病控制和预防中心的报告（黄线）做比对，从图可知，两者结论存在很大相关性。 以银行信贷审批决策为例 用户移动轨迹和精准用户群集分析应用 实时精准营销-只给最近的你 HDS统一计算平台 支撑大数据应用的IT架构实例 新的大数据技术 传统数据库处理方式 —池塘捕鱼 新的大数据处理方式 —大海捕鱼 待处理的数据 数据的自由度和性能矛盾。 固定字段、维度的表结构，限制了数据的入库和拓展。 数据处理 数据库 中间件 索引及应用开发 数据索引方式的瓶颈，依赖文件目录结构（NAS）或私有的位图块表结构（Block）。 非结构数据还需要上层数据库或文件系统提供索引； 面对大数据传统IT的架构的瓶颈 存储成本（TB） 20,000 rmb 数据库和中间件（TB） 15,000 rmb 计算（TB） 30,000 rmb 技术服务（TB） 10,000 rmb 应用服务 依赖合作伙伴 总体拥有成本（TB） 75,000 rmb 数据的膨胀带来更高的成本，但是已有的存储方式不支持线性扩展，还带来了数据管理性能的低下 面对大数据传统IT的架构带来的问题 新的大数据处理技术-Hadoop 核心思想