大数据方案与案例46.pptVIP

大数据(大数据)时代来临 Structured Database Spreadsheet File in record format Semi-structured XML Docs Logs Click-stream Equipment/ Device, RFID tag Unstructured Web Pages E-mail Multimedia Instant Messages Documents 大数据 People Devices Sensors 移动互联网 Mobile Internet 物联网 Internet of Things 1 新量级、新处理模式、新企业智能 大数据 要解决的问题 Volume 海量的数据规模 Variety 多样的数据类型 Streams Real time Near time Batch TB PB EB Structured Unstructured Semi-structured All the above Value Velocity 快速的数据流转 巨大的数据价值 3 Social Media Machine / Sensor DOC / Media Web Clickstream Apps Call Log Log 什么是半结构化/非结构化数据 大数据 带来的挑战 不同“看”数据的方式 需要更高性价比的数据计算与储存方式 不同的数据管理策略 超越企业现有 IT 的数据解决能量 4 不同“看”数据的方式 5 可视：结构化资料 15% 未视：半/非结构化数据 85% DB/DW 主管们看的 战情数位仪表板，其实是残缺的… 10万 GB 10万 TB 需要更高性价比的数据计算与储存方式 6 数据库 数据仓库 计算更快 存储更省 7 不同的数据管理策略 当我们想要扩充时， 才发觉： 架构只能 scale-up， scale-out 不易 处理时间过长， time-to-value 受限 成本过高， cost-efficiency 受限 15% 结构化的 DB/DW 遗憾 残缺 每天几百 GB、 几 TB 的资料，且持续成长中 储存 Storing 在收数据的同时做必要的前置处理 (pre-processing) ，并区分数据处理的优先等级 (prioritizing) 计算 Processing 如何有效的避免因硬件毁坏所导致的资料损毁 管理 Managing 如何从中挖掘出所关注事件的 pattern 或 behavior 分析 Analyzing 超越企业现有 IT 的数据解决能量 8 大数据的储存与处理/运算 大数据储存 大数据处理 数据分享 数据检索 数据分析 数据展现 分布式软件架构 并行计算框架 分布式存储 横向扩容(Scale-out) 架构 什么是大数据处理 (大数据 Processing) Word count Harry Porter (哈利波特) 432,442 Lord Voldemort (佛地魔) 134,209 Dumbledore (邓不利多) 72,982 Severus Snape (石内圤) 28,252 ……... ……………………… …….. /category.screen?category_id=PLANTSJSESSIONID=S1FF9ADFF2 /gp/product/B005OCFGTO/ref=s9_simh_gw_p14_d0_g74_i5?pf_rd_m=ATVPDKIKX0DERpf_rd_s=center-2pf_rd_r=1YN4ES7ZEV17ZRKA858Xpf_rd_t=101pf_rd_p=4631pf_rd_i=507846 .tw/exep/prod/china/chinafile.php?item=C.tw/exep/prod/china/chinafile.php?item=C/feds-issue-warning-unconven-sperm-donor-140811851.html Log file : 1.5TB / day Hit count 812,490,299 232,934,490 198,283,002 57,922,190 ………… …………………... ………… Hit Count Word Count 什么是大数据处理 (大数据 Processing) /category.screen?category_id=PLANTSJSESSIONID=S1FF9ADFF2 /gp/product/B005OCFGTO/ref=s9_simh_gw_p14_d0_g74_i5?pf_rd_