大数据时代的大数据思维.ppt

大数据时代的大数据思维 茅 宁 南京大学管理学院 第一页，共三十三页。 不讲大数据就“OUT”了 如何理解大数据 技术：大云平移 产业：商业革命 资产：数据资产 思维：管理革命和思维革命 大数据时代：改变我们的生活、工作和思维方式 Gartner公司（3V+1）：大数据是指数量大、变化快和（或）多样化的信息资产，需要新的处理形式，从而强化决策、促进洞察力和优化流程 第二页，共三十三页。 数据量（Volume） 全量超大规模（海量） K、MB（兆）、G、T、P、E、Z、Y、N、D、C 大数据的起始计量单位至少是P（1000个T） 不仅是规模，更重要的是增长速度 到2012年，人类生产的所有印刷材料数据量是200PB，全人类历史上说过的所有话的数据量大约是5EB 整个人类文明所获得的全部数据中，有90%是过去两年内产生的 到了2020年，全世界所产生的数据规模将达到今天的44倍 第三页，共三十三页。 速度（ Velocity）：实时变化（输入和处理速度快） 对处理时间的要求 种类（Variety)）：多样化（多源异构） 结构化 非结构化：文本、图象等 价值（Value）:价值密度低 大海捞针？ 数据本身不产生价值，如何分析和利用大数据对业务产生帮助才是关键 例：Facebook上市前有形资产价值66亿美元，但估值1040亿美元 2009年-2011年间收集了2.1万亿条获利信息 第四页，共三十三页。 大有大的道理 戴明：除了上帝，任何人都必须用数据来说话 对大部分事物来说，平均值都差强人意 但在决策中，大量个体的平均值往往是最好的 猜猜瓶子里有多少钱？ 猜得最准的个人距离正确答案10美元 所有猜测的平均值距离正确答案3美元 365美元 第五页，共三十三页。 数据、模型和理论的关系 第六页，共三十三页。 光大是不够的 数据并不是越多越好 对数据分析能力的挑战：由人来解读转化为洞察见解 科斯：如果你总是拷问数据，数据迟早会招供的 有一位美国数学家最怕坐飞机 他研究了近20年的统计数据，发现恐怖分子带炸弹上飞机的概率非常低 但他还是不放心，又做进一步研究，发现两个人同时带炸弹上飞机的概率为零 于是他坐飞机都自己携带一枚炸弹 水生动物不要羡慕陆生动物的四个蹄子，它真正需要的是生出一个肺，而不是用腮呼吸 第七页，共三十三页。 林彪的大数据思维 辽沈战役期间，林彪要求每天要进行“军情汇报” 由值班参谋读出各单位用电台报告的当日战况和缴获 几乎是重复着千篇一律枯燥无味的数据 一天，参谋汇报当日战况时，林彪突然打断他：“刚才念的在胡家窝棚那个战斗的缴获，你们听到了吗?” 见无人回答，接连问了三句 为什么那里缴获的短枪与长枪比例比其它战斗略高 为什么那里缴获和击毁的小车与大车的比例比其它战斗略高? 为什么在那里俘虏和击毙军官与士兵的比例比其它战斗略高? “我猜想，不，我断定!敌人的指挥所就在这里! 果然，部队很快就抓住了敌方指挥官廖耀湘 第八页，共三十三页。 大数据内涵的三维度解析 技术 实践 理论 数据信息采集、传输、存贮、处理和分析能力 ——云技术、分布式处理技术、存贮技术、感知技术 ——分析技术：可视化分析、数据挖掘算法、语义搜索引擎、数据质量与数据管理、预测性分析 大数据特征 大数据价值 大数据思维 公共（互联网）数据 政务数据 产业（企业）数据 个人（用户）数据（i-data) 第九页，共三十三页。 大数据的本质 用母体代替抽样 统计抽样的局限性 用数量代替精确 拥抱混杂性：容错性更强 用相关性代替因果性 知道是什么比知道为什么更重要 演绎与归纳的区别 演绎：通过一般规律推导出具体事实（从因到果） 归纳：从具体事实中总结出一般规律 第十页，共三十三页。 大数据的启示：决策分析观念的转变 传统 抽样数据、局部数据和片面数据 经验、假设和价值观 未来 要全体不要抽样 要效率不要绝对精确 要相关不要因果 分析过去，提醒现在，展望未来 第十一页，共三十三页。 Gary Loveman博士的经历 1989年在MIT获经济学博士学位后在哈佛商学院任教 专长是数据挖掘和服务管理：客户心理分析 数学只是象牙塔里学究们出于个人兴趣的消遣，而对真实世界的决策没有帮助，这让他一度感到沮丧 1994年在HBR发表一篇文章引起企业关注 1997年接受主营赌场业务的哈拉斯娱乐公司（Harrah’s Entertainment）邀请，担任该公司COO 他只准备待两年，为此请了两年学术假期 再没有返回哈佛大学，2003年接任该公司CEO 关键：使用数学运营赌场 第十二页，共三十三页。 哈拉斯娱乐公司的特色 每年在信息系统上的投资超过1亿美元 推行了一套名为“完全回馈”（Total Reward）的会员卡制度，所有消费都用卡 到2010年，已积累超过4000万