大数据-海量数据的作用–实时精准的分析和决策.pptxVIP

下载本文档

0
0
约1.25万字
约 39页
2024-11-21 发布于广西
举报
版权申诉

大数据-海量数据的作用–实时精准的分析和决策.pptx

1、本文档共39页，可阅读全部内容。
2、原创力文档（book118）网站文档一经付费（服务费），不意味着购买了该文档的版权，仅供个人/单位学习、研究之用，不得用于商业用途，未经授权，严禁复制、发行、汇编、翻译或者网络传播等，侵权必究。
3、本站所有内容均由合作方或网友上传，本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺！文档内容仅供研究参考，付费前请自行鉴别。如您付费，意味着您自己接受本站规则且自行承担风险，本站不退款、不进行额外附加服务；查看《如何避免下载的几个坑》。如果您已付费下载过本站文档，您可以点击这里二次下载。
4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等，请点击“版权申诉”（推荐），也可以打举报电话：400-050-0827(电话支持时间：9:00-18:30)。
5、该文档为VIP文档，如果想要下载，成为VIP会员后，下载免费。
6、成为VIP后，下载本文档将扣除1次下载权益。下载后，不支持退款、换文档。如有疑问请联系我们。
7、成为VIP后，您将拥有八大权益，权益包括：VIP文档下载权益、阅读免打扰、文档格式转换、高级专利检索、专属身份标志、高级客服、多端互通、版权登记。
8、VIP文档为合作方或网友上传，每下载1次，网站将根据用户上传文档的质量评分、类型等，对文档贡献者给予高额补贴、流量扶持。如果你也想贡献VIP文档。上传文档

1 Copyright?2012,Oracleand/oritsaffiliates.Allrightsreserved.大数据新知客户行为驱动的“快数据”

大数据爆炸互联网上的非结构化数据…InfographicbyGo-gulf2 Copyright?2012,Oracleand/oritsaffiliates.Allrightsreserved.

什么是大数据？具有4V特性的数据称为大数据巨大的数据量Volume? 集中储存/集中计算已经无法处理巨大的数据量VOLUMEVELOCITYVARIETYSOCIALBLOGSMARTMETERVALUE3亿+用户，顶峰期一天上亿条微博中型城市每月数十亿智能电表数据2015年全球移动终端产生的数据量6300PB多结构化数据Variety? 文本/图片/视频/文档等增长速度很快Velocity? 海量数据的及时有效分析? 用户基数庞大/设备数量众多/实时海量/数据指数级别增长价值密度低Value? 单条数据并无太多价值，但庞大的数据量蕴含巨大财富3 Copyright?2012,Oracleand/oritsaffiliates.Allrightsreserved.

传统DW难以处理大数据4 Copyright?2012,Oracleand/oritsaffiliates.Allrightsreserved.大数据的4V特点：Volume,Variety,Velocity,Value? 传统DW系统不适用于大数据的分析? 数据量过于庞大? 绝大局部大数据是垃圾? 大数据的多样化格式? 需要革新性的技术手段? 海量数据“分而治之”：批量分布式并行计算Hadoop+ NoSQL存储? 海量数据“实时精选”：实时分布式高吞吐高并发数据处理，或者说“事件处理”? 海量数据“去芜存菁”：大数据的分析成果超高速装载进结构化数据库? 海量数据“跨界挖掘”：同时挖掘DW数据和大数据

5 Copyright?2012,Oracleand/oritsaffiliates.Allrightsreserved.看看淘宝–海量数据存储需求商品库、评价库、交易库、用户库、店铺库…以商品库为例：14亿/8亿(下线/在线)商品，QPS/TPS：78K/2.7K(峰值)，Read/WriteIOPS：46K/7K(峰值)数据规模事务与数据一致性万亿记录(十PB)千亿记录(百TB)千万记录(百GB)最终一致单行事务跨行跨表事务TaobaoOceanBaseOracleRACCassandraHBasePercolatorDynamoBigtable

6 Copyright?2012,Oracleand/oritsaffiliates.Allrightsreserved.看看淘宝? 实时客户需求预测:买家收藏夹数据–买家收藏的宝贝：收藏信息表，65亿条记录；宝贝信息表，4亿条记录；–每个买家可有千条收藏，按宝贝属性(如价格)排序展示买家的收藏–热门宝贝可能被十几万人收藏，而宝贝的价格、收藏人气等属性随时变化–挑战1：每天1.2亿次访问，响应时间100ms–挑战2：随时更新宝贝人气和价格，直接影响商家销量–挑战3：及时根据客户行为推荐热门宝贝

1. 数据经过NoSQLDB-DW-BI的传统路径才得到分析和决策结果WiththepathsthatgothroughHadoop[atYahoo!],thelatencyisaboutfifteenminutesitwillneverbetruereal-time.*RaymieStata,Yahoo!CTO(June2011)2. 大数据就是Hadoop+NoSQL,低本钱地方式存储海量的非结构化数据？？海量数据的作用–实时、精准的分析和决策*:://theregister.co.uk/2011/06/30/yahoo_hadoop_and_realtime/minutesFilterout,correlate7 Copyright?2012,Oracleand/oritsaffiliates.Allrightsreserved.

…对企业而言更加明确Source:://oracle/us/corporate/press/1704764Utilitiesdeployingsmartmeters??200xinformationflowin