正本清源大数据-企业网D1Net.PDF

正本清源大数据 概念与趋势分析 龚才春@诚智汇达 gongcaichun@ 个人简介 龚才春博士，自然语言处理与大数据专家 2004--2008 中国科学院计算所 博士/ 自然语言处理 2008--2010 北京市计算中 研发总监/前瞻经理 心 2010--2013 淘宝中国软件 搜索研发专家 2013--2014 大街网 首席科学家 2014-现在 诚智汇达 创始人 提纲 1 大数据的产生 Contents 2 大数据的概念 3 大数据思维 4 大数据的趋势与可能应用 大数据的产生  信息科技进步与帕金森定律 信息处理能力：4.77M/s,16G/s 信息存储能力：60年代1M一万到现在1G一美分 信息传递能力：1977年45M光纤到100T以上  互联网成为继火、电之后的第三大发明 距离彻底虚拟化 世界都互联起来 大数据的产生 大数据的产生  云计算的推进 改变了数据的存储和访问方式 网络带宽的提升为数据的集中存储提供了条件 数据的集中存储为大数据提供了条件 物联网 Internet of things 温家宝：促进房价的理性回归和促进物联网发展 海淀桥实时路况 新浪天气站 海信互联网空调 互联网冰箱 大数据的产生 大数据的产生  社交网络 真实的人际关系完美映射到互联网空间 互联网的距离虚拟化使社交网络甚至超过真实关系网 社交网络继承了人类的特性情绪 情绪的传播为消费行为分析提供了方便 大数据的产生  智能终端的普及 由于硬件的发展，终端的处理能力越来越强 由于云计算的发展，对终端的处理能力要求越来越低 1 大数据的产生 Contents 2 大数据的概念 3 大数据思维 4 大数据趋势与可能应用 大数据的概念 大数据的定义 大数据指的是大小超过常规数据库工具获取、存 储、管理和分析能力的数据（Mckinsey 2011.6） 大数据的4V+1C  Volume ：数据体量大  Variety ：数据类型多  Velocity ：处理速度快  Value ：商业价值高、价值密度低  Complex ：数据的表示、处理复杂 大数据的提出1 大数据的提出  Apache Nutch 第一次提到big data，用于说明需要索引的数据量大  Nature 2008年 Big Data 专刊 1 Community cleverness required 8 SPECIAL REPORT The next Google 15 Data wrangling 16 Welcome to the petacentre 22 Wikiomics 28 How do your data grow? 30 Distilling meaning from data 36 The Harvard computers 47 The future of biocuration 大数据的提出2 大数据的提出  Computing Community Consortium （2008.12） Big-Data