大数据技术方案与案例.pptVIP

应用五: 利用 ODBC 连结 Excel Hive Excel Hive Add-in 在线资料 : MS SQL Server 历史资料 : Hive 其他应用 - Etu Recommender建构在 Etu Appliance 上的精准推荐系统 Etu Recommender Recommendation Engine 商品/内容 关联性分析 客户行为 相似性分析 客户海量量浏览数据 客户 交易数据 其他或 第三方资料 推荐清单 其他应用 - Etu Recommender建构在 Etu Appliance 上的精准推荐系统 Web Server User DB Product DB Etu Recommender 商品浏览日志 用户数据 产品目录 推荐结果 API 其他应用 - Etu Recommender建构在 Etu Appliance 上的精准推荐系统 Etu Recommender 精准推荐应用系统 个人化推荐清单 个人化EDM 个人化账单 百货 零售 流通 银行 连锁 媒体 虚拟通路 (在线) 实体通路 (线下) 结账 点击 浏览 搜寻 交易 购物车 推荐清单的运用不光只是在线服务 大数据(大数据)时代来临 大数据 People Devices Sensors 移动互联网 Mobile Internet 物联网 Internet of Things * 新量级、新处理模式、新企业智能 大数据 要解决的问题 Volume 海量的数据规模 Variety 多样的数据类型 Value Velocity 快速的数据流转 巨大的数据价值 * Social Media Machine / Sensor DOC / Media Web Clickstream Apps Call Log Log 什么是半结构化/非结构化数据 大数据 带来的挑战 不同“看”数据的方式 需要更高性价比的数据计算与储存方式 不同的数据管理策略 超越企业现有 IT 的数据解决能量 不同“看”数据的方式 * 可视：结构化资料 15% 未视：半/非结构化数据 85% DB/DW 主管们看的 战情数位仪表板，其实是残缺的… 10万 GB 10万 TB 需要更高性价比的数据计算与储存方式 * 数据库 数据仓库 计算更快 存储更省 85% 半/非结构化的 Log / Web page / Email / PDF / Image / Full-text / MS-Office file 不同的数据管理策略 当我们想要扩充时， 才发觉： 架构只能 scale-up， scale-out 不易 处理时间过长， time-to-value 受限 成本过高， cost-efficiency 受限 15% 结构化的 DB/DW 遗憾 残缺 每天几百 GB、 几 TB 的资料，且持续成长中 储存 Storing 在收数据的同时做必要的前置处理 (pre-processing) ，并区分数据处理的优先等级 (prioritizing) 计算 Processing 如何有效的避免因硬件毁坏所导致的资料损毁 管理 Managing 如何从中挖掘出所关注事件的 pattern 或 behavior 分析 Analyzing 超越企业现有 IT 的数据解决能量 * 大数据的储存与处理/运算 大数据储存 大数据处理 数据分享 数据检索 数据分析 数据展现 分布式软件架构 并行计算框架 分布式存储 横向扩容(Scale-out) 架构 什么是大数据处理 (大数据 Processing) Word count Harry Porter (哈利波特) 432,442 Lord Voldemort (佛地魔) 134,209 Dumbledore (邓不利多) 72,982 Severus Snape (石内圤) 28,252 ……... ……………………… …….. /category.screen?category_id=PLANTSJSESSIONID=S1FF9ADFF2 /gp/product/B005OCFGTO/ref=s9_simh_gw_p14_d0_g74_i5?pf_rd_m=ATVPDKIKX0DERpf_rd_s=center-2pf_rd_r=1YN4ES7ZEV17ZRKA858Xpf_rd_t=101pf_rd_p=4631pf_rd_i=507846 .tw/exep/prod/china/chinafile.php?item=C.tw/exep/prod/china/chinafile.php?item=C/feds-issue-war