大数据蕴跟大价值(初稿)40.pptVIP

大数据蕴含大价值 河北移动业务支撑中心 目录 河北移动的机会 应对大数据的技术 2 什么是大数据？ 1 3 “大数据”和“小数据”的不同 思考？为什么现在会有“大数据”，以前难道没有？为什么现在大数据倾向用专门的解决方案，为什么以前不？为什么大数据发源于互联网，而不是传统数据密集型企业？ 大数据解决方案要深度定制，但是… 人：硬件人员、Hadoop平台人员、工具人员、运维人员 × 31 物：何种节点的规模才能达到规模效应？几个节点的Hadoop算不算大数据？云计算的资源动态调配如何实现？ 基于性价比的选择 买产品：如果定制的效益不如付出的成本，那么采购标准的第三方产品是更好的选择。“小数据”大多是这类情况 定制：如果定制的效益超过付出的成本，那么倾向自己进行定制。比如Google、Facebook等 VS 我们的选择？ “大数据Big Data”很热门 “大数据Big Data”，大概是爆红速度仅次于云计算的科技新名词，过去一年来，云计算虽然还是很热门的话题，但更热门的是大数据，情况就像几年前厂商不约而同在谈云计算一样。 业界逐步开始区分大数据和云计算两个概念。前者主要指业务问题、创新机会和技术平台，后者主要指按需付费、资源动态调配、自服务的商业模式。 从大数据Big Data和云计算Cloud Computing在Google上的搜索趋势（100代表最大搜索量）上看，对大数据的关注已经逐步超过了云计算。 对大数据的需求主要集中在分析Analytics和使用方面。 Gartner：Hype Cycle for Emerging Technologies, 2012 典型的大数据 传感器 RFID从2005年的1.3亿增加到2010年的30亿 互联网 Google每天处理大约24PB的数据 社交网络 Facebook每天处理25TB的数据 Twitter每天处理7TB的数据 电信 中国移动每天产生10TB+话单、30TB+上网日志和100TB+信令数据 金融 每交易周期，纽约证券交易所捕获1TB的交易信息 零售 沃尔玛每小时要处理100万笔电子交易记录 科研 欧洲核子研究中心的强子对撞机每秒产生40TB数据 政府 美国政府拥有848PB数据，居于美国第二位 数据量井喷，据统计，全球90%的数据都是在过去两年中生成的。互联网、社交网络、传感器、科研、金融正在产生越来越多的数据。 互联网上的一分钟 大数据的特征——3V 有人说大数据的特征是3V，有的说是3V+1V（价值），有的说是3V+1C（处理复杂性），但是3V是跑不了的，这些体现了大数据不同于传统数据的特点。 数据大(Volume)，例如Facebook每天在30万台服务器上处理25Tb数据 时效性要求高(Velocity)，例如搜索引擎要求在几分钟内为用户查询新闻 种类和来源多样化(Variety)，除了结构化的数据、半结构化、非结构化的数据大量产生 大数据众生态 在全球经济的很多领域，大数据在以很多的方式创造价值。事实上，研究表明：随着消费者、公司、各个经济领域不断挖掘大数据的潜力，我们正处在一个巨大的浪潮的尖峰，这个浪潮，就是大数据驱动的创新、生产效率提高、经济增长以及新的竞争形式和新的价值的产生。 ——《大数据：下一个创新、竞争和生产率的前沿》 麦肯锡全球研究所 2011年5月 在对全球 100 个国家及地区从事 30 个行业的 3000 名高管进行的调查中，有60%的受访者表示无法有效利用所有数据。而近期 IBM 对 64 个国家及地区从事 19 个行业的 1700 名首席营销官开展的最新调查更是进一步体现了出这个问题的严峻性：调查结果显示，71%的首席营销官表示他们的企业没有做好充分准备来应对大数据的挑战。 ——《IBM - 麻省理工斯隆管理学院评论》 2011年 大数据不是一个单独的市场，它无处不在，以一切可以想象出的方式影响着商业。大数据的涌入将迫使产品、业务和解决方案发生变化。这种变化非常快，企业可能不得不淘汰要求的现有解决方案。2012年大数据将直接或间接拉动全球960亿美元IT支出，预计这一数据2013年将达到1200亿美元，2016年达到2320亿美元。新支出将流向社交媒体、社交网络分析和内容分析。支持大数据需要使用大量服务，高达软件采购支出的20倍。拥有相应技能的人才非常稀缺，但需求旺盛。 ——Gartner 2012年10月 大数据各家看点 有人认为大数据是大麻烦，有人认为大数据是大挑战，有人认为大数据是大机遇。还有大知识、大科