大数据引发的变革与企业面临的挑战-2012第五届中国数据中心大会.pptxVIP

1 大数据引发的变革 与企业面临的挑战 陈育杰 Eric Chen SYSEX精诚集团 Big Data 事业 资深总监 eric_chen@ , mobile :2 个人的一些经历 在IT产业第17个年头 从程序员开始第一份工作, 逐渐转移到销售与售前、产品经理、产品与技术管理、事业发展、新事业规划与开发 主要经验都是以软件为基础，含括数据库解决方案、电子商务解决方案、中间件(Middleware)、嵌入式系统(Embedded System)、安全解决方案(Security)、云操作系统(Cloud OS)、大数据一体机(Big Data Appliance) 2006年，开始参与大数据项目计划，引进Hadoop ………….. 2009年，开始参与两岸云计算云操作系统项目计划 2010年，开始参与台湾云端运算联盟，为创会会员之一 Big Data 时代来临 Structured Database Spreadsheet File in record format Semi-structured XML Docs Logs Click-stream Equipment/ Device, RFID tag Unstructured Web Pages E-mail Multimedia Instant Messages Documents Big Data People Devices Sensors 移动互联网 Mobile Internet 物联网 Internet of Things 3 新量级、新处理模式、新企业智能 Big Data 带来的挑战 不同“看”数据的方式 需要更高性价比的数据计算与储存方式 不同的数据管理策略 超越企业现有 IT 的数据解决能量 4 不同“看”数据的方式 5 可视：结构化资料 15% 未视：半/非结构化数据 85% DB/DW 主管们看的 战情数位仪表板，其实是残缺的… 10万 GB 10万 TB 需要更高性价比的数据计算与储存方式 6 数据库 数据仓库 计算更快 存储更省 7 不同的数据管理策略 当我们想要扩充时， 才发觉： 架构只能 scale-up， scale-out 不易 处理时间过长， time-to-value 受限 成本过高， cost-efficiency 受限 15% 结构化的 DB/DW 遗憾 残缺 每天几百 GB、 几 TB 的资料，且持续成长中 储存 Storing 在收数据的同时做必要的前置处理 (pre-processing) ，并区分数据处理的优先等级 (prioritizing) 计算 Processing 如何有效的避免因硬件毁坏所导致的资料损毁 管理 Managing 如何从中挖掘出所关注事件的 pattern 或 behavior 分析 Analyzing 超越企业现有 IT 的数据解决能量 8 9 10 并行模式简单、编成较易 为程序员屏蔽通性、并发、同步与一致性等问题 计算与存储一体，计算向数据靠拢，高效专用存储模式 任务之间无依赖(share-nothing)，具有高系统延展性 (scale-out) 并行计算匡架 分布式档案存储 11 大规模分布式结构化数据存储系统 HBase – Hadoop Database，是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统 利用 HDFS作为其文件存储系统 – HDFS为HBase提供了高可靠性的底层存储支持 利用 MapReduce来处理其中的海量数据 – MapReduce为HBase提供了高性能的计算能力 12 企业如何运用Hadoop 13 企业运用数据的流程 r 14 Distributed Search r 15 Distributed Search 企业并不像互联网公司， 如何掌握这么多技术 ? 企业采用 Hadoop 架构的挑战 16 企业对 Hadoop 架构普遍陌生， 尚未建立 MapReduce 程序设计能力 对资料分析师、商业使用者不够直觉，难亲近 Hadoop 丛集规划、布署、管理与系统调校的技术门坎高。 商业顾问 专业服务 技术供给 ? 缺乏在地、专业、有实务经验的 Hadoop 顾问服务厂商 先期咨询、需求分析、项目验证、与教育训练等服务来源欠缺。 缺乏能够提供完整 Big Data 解决方案设计、导入、与维护的专业厂商。 缺乏商业案例研讨 企业不知如何挖掘Big Data价值 缺乏成熟的导引步骤来降低企业导入风险 提高成功机率 精诚集团 Big Data 事业 17 商业顾问 专业服务 解决方案 面向企业Big Data需求的一站式服务 Big Data 应用程序 Big Data