云数据处理大数据引发的变革与企业面临的挑战.pptxVIP

云数据处理大数据引发的变革与企业面临的挑战陈育杰 Eric ChenSYSEX精诚集团 Big Data 事业 资深总监 eric_chen@ , mobile :数据(Big Data)时代来临新量级、新处理模式、新企业智能Big Data People移动互联网Mobile InternetDevices物联网Internet of ThingsSensorsBig Data 要解决的问题 Velocity3 Vs of Big DataVarietyVolume什么是半结构化/非结构化数据Web ClickstreamMachine / SensorDOC / MediaSocial MediaCall LogAppsLogBig Data 带来的挑战不同“看”数据的方式需要更高性价比的数据计算与储存方式不同的数据管理策略超越企业现有 IT 的数据解决能量不同“看”数据的方式可视：结构化资料 15%DB/DW未视：半/非结构化数据 85%主管们看的战情数位仪表板，其实是残缺的…需要更高性价比的数据计算与储存方式10万 GB数据库数据仓库10万 TB计算更快 存储更省不同的数据管理策略15% 结构化的 DB/DW当我们想要扩充时，才发觉：架构只能 scale-up， scale-out 不易处理时间过长， time-to-value 受限成本过高， cost-efficiency 受限遗憾85%半/非结构化的Log / Web page / Email / PDF / Image / Full-text / MS-Office file 残缺超越企业现有 IT 的数据解决能量储存Storing每天几百 GB、 几 TB 的资料，且持续成长中计算Processing 在收数据的同时做必要的前置处理 (pre-processing)，并区分数据处理的优先等级 (prioritizing)如何有效的避免因硬件毁坏所导致的资料损毁管理Managing分析Analyzing如何从中挖掘出所关注事件的 pattern 或 behavior精诚集团 Big Data 事业精诚集团提供 Big Data 解决方案的独立品牌在台北与北京设有研发与专业服务团队我们关注的不只是技术，更在意挖掘 Big Data 对企业的商业价值透过软硬件一体的整合，大幅「简化」与「优化」企业处理 Big Data 的种种问题Appliance 大数据一体机Big Data 运算与储存，单一架构解决大数据处理的平台解决方案An Universal Big Data Processing Solution企业的资料云硬件与软件一体储存与运算合一什么是大数据处理 (Big Data Processing)Word Count Hit CountWord countHarry Porter (哈利波特)432,442Lord Voldemort (佛地魔)134,209Dumbledore (鄧不利多)72,982Severus Snape (石內圤)28,252……...……………………………..Hit 812,490,299232,934,490198,283,00257,922,190……………………………...…………Log file : 1.5TB / day什么是大数据处理 (Big Data Processing)String Truncation Filter3rd partypre-defined ReportingIPActionTimeServerURL###……….………..……………….……..…….……….………..……………….……..…….Log file : 1.5TB / day0 - - [15/Nov/2011:00:07:45] GET /flower_store/product.screen?product_id=FL- 10/flower_store/category.screen?category_id=PLANTSJSESSIONID=SD7SL1FF9ADFF2 Mozilla/5.0 (X11; U; Linux i686; en-US; rv:0) GeckoCentOS/0-0.1.el4.centos Firefox/0 1604 16674 - - [15/Nov/2011:00:07:58] GET /flower_store/product.screen?product_id=K9-BD-01 HTTP/1.1 Mozilla/5.0 (X11; U; Linux i686; en-US; rv:0) GeckoCent