企业bigdata指南–方案计划架构跟案例例子研讨资料教材.pptVIP

企业Big Data指南  – 方案架构与案例研讨 陈育杰 Eric Chen eric_chen@ 精诚集团 Etu 知意图 资深事业发展总监 精诚集团 Big Data 事业 精诚集团提供 Big Data 解决方案的独立品牌 在台北与北京设有研发与专业服务团队 我们关注的不只是技术，更在意挖掘 Big Data 对企业的商业价值 透过软硬件一体的整合，大幅「简化」与「优化」企业处理 Big Data 的种种问题 精诚集团 Big Data 事业 意图与关联充满的 Big Data 世界 Etu 帮您具体整合来呈现 大数据(Big Data)时代来临 Structured Database Spreadsheet File in record format Semi-structured XML Docs Logs Click-stream Equipment/ Device, RFID tag Unstructured Web Pages E-mail Multimedia Instant Messages Documents Big Data People Devices Sensors 移动互联网 Mobile Internet 物联网 Internet of Things 4 新量级、新处理模式、新企业智能 Big Data 要解决的问题 Volume 海量的数据规模 Variety 多样的数据类型 Streams Real time Near time Batch TB PB EB Structured Unstructured Semi-structured All the above Value Velocity 快速的数据流转 巨大的数据价值 6 Social Media Machine / Sensor DOC / Media Web Clickstream Apps Call Log Log 什么是半结构化/非结构化数据 Big Data 带来的挑战 不同“看”数据的方式 需要更高性价比的数据计算与储存方式 不同的数据管理策略 超越企业现有 IT 的数据解决能量 7 不同“看”数据的方式 8 可视：结构化资料 15% 未视：半/非结构化数据 85% DB/DW 主管们看的 战情数位仪表板，其实是残缺的… 10万 GB 10万 TB 需要更高性价比的数据计算与储存方式 9 数据库 数据仓库 计算更快 存储更省 10 不同的数据管理策略 当我们想要扩充时， 才发觉： 架构只能 scale-up， scale-out 不易 处理时间过长， time-to-value 受限 成本过高， cost-efficiency 受限 15% 结构化的 DB/DW 遗憾 残缺 每天几百 GB、 几 TB 的资料，且持续成长中 储存 Storing 在收数据的同时做必要的前置处理 (pre-processing) ，并区分数据处理的优先等级 (prioritizing) 计算 Processing 如何有效的避免因硬件毁坏所导致的资料损毁 管理 Managing 如何从中挖掘出所关注事件的 pattern 或 behavior 分析 Analyzing 超越企业现有 IT 的数据解决能量 11 大数据的储存与处理/运算 大数据储存 大数据处理 数据分享 数据检索 数据分析 数据展现 分布式软件架构 并行计算框架 分布式存储 横向扩容(Scale-out) 架构 什么是大数据处理 (Big Data Processing) Word count Harry Porter (哈利波特) 432,442 Lord Voldemort (佛地魔) 134,209 Dumbledore (邓不利多) 72,982 Severus Snape (石内圤) 28,252 ……... ……………………… …….. /category.screen?category_id=PLANTSJSESSIONID=S1FF9ADFF2 /gp/product/B005OCFGTO/ref=s9_simh_gw_p14_d0_g74_i5?pf_rd_m=ATVPDKIKX0DERpf_rd_s=center-2pf_rd_r=1YN4ES7ZEV17ZRKA858Xpf_rd_t=101pf_rd_p=4631pf_rd_i=507846 .tw/exep/prod/china/chinafile.php?item=C.tw/exep/prod/china/chinafile.php?item=C/feds-issue-warning-unco