大数据及应用分解.ppt

Loading… … 什么是大数据？ 大数据(big data)，或称巨量资料，是指无法在一定时间内用常规软件工具对其内容进行抓取、管理和处理的数据集合。 4V特点： Volume （大量） First Variety （多样） Second veracity （真实性） Thirdly Velocity （高速） Fourthly 第一，数据体量巨大。 现在的数据计算单位已经从GB到达了TB,PB，甚至是EB了。 第二，数据类型繁多。 绝大多数大数据是非结构性的，其种类十分复杂。我们现在的技术手段还没法对此进行处理。 respondents 第三，数据的来源。 直接导致分析结果的准确性和真实性。若数据来源是完整的并且真实，最终的分析结果以及决定将更加准确。 第四，处理速度快。 数据产生的频率和传送频率非常快。 这些特征也带来了一些变革，包括从局部或样本数据向全体数据的扩展;从结果数据向过程数据的扩展以及从静态存储数据向动态流处理数据的扩展。 小结 小数据时代，一个样本的错误就可以造成对总体估计的失败，幸运的是，大数据时代对精确性不再那么要求苛刻——也无法要求太严格——数据的数量足以弥补这一缺陷。大数据时代，我们应该从追求因果关系的旧思维方式向追求相关关系转变。 大数据与小数据的差异 案例分析 2011年4月，沃尔玛以3亿美元高价收购了一家专长分类社群网站Kosmix。Kosmix不仅能收集、分析网络上的海量资料（大数据）给企业，还能将这些资讯个人化，提供采购建议给终端消费者（若不是追踪结帐资料，这些细微的消费者习惯，很难从卖场巡逻中发现）。这意味着，沃尔玛使用的大数据模式，已经从“挖掘”顾客需求进展到要能够“创造”消费需求。 2011年，沃尔玛电子商务的营收仅是亚马逊的五分之一，且差距年年扩大，让沃尔玛不得不设法奋起直追，找出各种提升数字营收的模式。最终，沃尔玛选择在社交网站的移动商务上放手一搏，让更大量、迅速的资讯，进入沃尔玛内部销售决策。沃尔玛的每张购买建议清单，都是大量资料运算而出的结果。 “沃尔玛本身就是一个海量资料系统，适用各种商业上的分析行为，它庞大的综合功能，把资讯应用提升到新的境界。”沃尔玛资讯中心副总经理特瑞尔指出。作为世界最大的零售业巨人，沃尔玛在全球超过200万名员工，总共有110个超大型配送中心，每天处理的资料量超过10亿笔。由于资料量过于庞大，沃尔玛的大数据系统最重要的任务，就是在做出每一笔决定前，将执行成本降到最低，并且创造新的消费机会。 Kosmix为沃尔玛打造的大数据系统称做“社交基因组（Social Genome）”，连结到Twitter、Facebook等社交媒体。工程师从每天热门消息中，推出与社会时事呼应的商品，创造消费需求。分类范围包含消费者、新闻事件、产品、地区、组织和新闻议题等。同时，针对社交网络快消息流的性质，沃尔玛内部的大数据实验室专门发展出一套追踪系统，结合手机上网，专门管理追踪庞大的社交动态，每天能处理的资讯量超过10亿笔。 每一次登记信息，每一次采购的品种和数量，每一次刷卡记录，最终都变成了数据； 来帮助沃尔玛摆上热销的商品 山姆会员店的东西不易在网上买到 沃尔玛成功的关键之一是聆听顾客同时进行数据分析，找到带动80%销售20%商品 沃尔玛山姆会员店空间大，包装大，商品种类少（大约4000-5000种）， 但每种商品都有极高会员价值 “数据就摆在我们的眼前，客户生活在一个真实的世界，有着越来越多的关于产品、关于客户的数据。最好的零售商就是那些通过最高效的方式把他们有机地联系在一起。最终，零售将是一场数据游戏。” 总 结 TechEd 2012 ? 2012 Microsoft Corporation. All rights reserved. Microsoft, Windows, Windows Vista and other product names are or may be registered trademarks and/or trademarks in the U.S. and/or other countries. The information herein is for informational purposes only and represents the current view of Microsoft Corporation as of the date of this presentation. Because Microsoft must respond to changing market condit