看得见的未来——十谈数据时代.doc

谢文：看得见的未来——十谈大数据时代 /yunjishu/shujuzhongxin16045.html一.迎接大数据时代 如果你的网站拥有数以千万计的活跃用户，如果网站上拥有数以百计的产品服务，如果这些服务以多媒体的形式在多个网络终端上运行，如果正在或者打算尝试走向云计算和WEB2.0架构，那就恭喜你了，因为你已经不知不觉地成为大数据时代的先行者或受害者。 按照维基百科上的定义，所谓“大数据”（big data）在当今的互联网业指的是这样一种现象：一个网络公司日常运营所生成和积累用户网络行为数据“增长如此之快，以至于难以使用现有的数据库管理工具来驾驭，困难存在于数据的获取，存储，搜索，共享，分析和可视化等方面。”这些数据量是如此之大，已经不是以我们所熟知的多少G和多少T为单位来衡量，而是以P（1000个T），E（一百万个T）或Z（10亿个T）为计量单位，所以称之为大数据。 大数据现象在物理学，生物学，环境生态学，自动控制等科学领域和军事，通讯，金融等行业已经存在有些时日了，在互联网业出现却是近年来才逐渐引人注目的。这可以归结为三个基本原因。第一，网络用户的高速增长和用户平均网络使用时间的不断延长，这使得用户网络行为数据大增；第二，网络服务从单一的文字形式走向图片，语音和影像等多媒体形式，导致数据量大增；第三，网络终端由过去的单一台式机变为台式机，平板电脑，书刊阅读器，手机和电视等多终端，大大扩充了网络服务的内容与范围，大大提高了用户对互联网的依赖度，也就大大增加了数据量。 大数据的出现既为网络业带来了机遇也带来了挑战。从潜在的机会看，数据量的增加为网络公司提供了精确把握用户群体和个体网络行为模式的基础，如果能够充分利用，就可以探索个人化，个性化，精确化和智能化地进行广告推送和服务推广服务，创立比现有广告和产品推广形式性价比高数倍甚至数十倍的全新商业模式。同时，网络公司也可以通过对大数据的把握，寻找更多更好地增加用户粘性，开发新产品和新服务，降低运营成本的方法和途径。从现实的挑战看，主要集中在以下三个方面。 首先，大数据挑战着网络公司的战略决策能力。数据量的急剧增长不仅要求在带宽和存储设备等基础设施方面要增加大量投入，而且使网络公司处于进退两难的境地。如果采取无所作为，固守原状的鸵鸟政策，那就可能失去未来发展的机会，失去业内竞争的本钱，早晚会被产业淘汰或者居于下游；如果与时俱进，转型适应大数据时代的到来，那就需要对公司的现有产品和运营体系进行全面的改造，例如网站架构的重建；产品的通用化，标准化，模块化；商业模式的创新；等等。这对绝大多数网络公司而言，既要维持现有业务，保持业绩的稳定和增长，又要加大投入，迅速转型，是个进退维谷的两难处境。 其次，大数据挑战着网络公司的技术开发和数据处理能力。大数据的出现以及潜在的商业价值不仅要求网络公司使用专门的数据库技术和专用的数据存储设备，而且更要求专门的数据分析方法和使用体系。目前业内流行的一般数据挖掘方法和通用商业数据库无法满足大数据时代的挑战。而且，网络公司需要大量高端专业人才，这不仅指一般的程序员和数据库工程师，而且指天体物理学家，生态学家，数学和统计学家，社会网络学家，社会行为心理学家，等等。对海量数据的分析不能仅仅局限在一般数据规律和模型的把握水平上，而且要有理论思维和全面把握的综合深入能力。 第三，大数据挑战着网络公司的组织和运营能力。一般中小网络公司都没有专门的数据管理和分析专家，即使是大型网络公司中，数据管理和分析部门也处于分散，被动，辅助的地位，是公司的龙尾而不是龙头。大数据时代的数据分析基本单位是个人用户，寻找的是个人的全面，完整，动态，实时的网络行为模式以及在此基础上归纳出来的群体行为模式，而不是过去那种基于单个产品，服务，频道的碎片式静态统计分析。所以，对大数据的整体把握是网络公司产品开发，运营设置，商业模式的基础和出发点，是龙头而不是龙尾。这就需要对现有公司架构，组织体系，资源配置和权力结构进行重组，让数据管理与分析部门处于公司整体的上游位置。重组成功的标志之一就是公司设立首席数据官（Chief Data Officer, CDO）的职位，与CEO, COO, CFO, CTO等一道组成公司核心决策层。 大数据是整个WEB2.0革命的重要组成部分，世界网络业的领军公司，例如GOOGLE，FACEBOOK，苹果和亚马逊已经处于先发的位置上。中国网络业中哪家公司能急起直追，谁就是先行者，否则，只能扮演受害者的角色。 二。扎克伯格定律----再谈大数据时代 不到一年前，Facebook创始人扎克伯格在Web2.0峰会上宣布，根据Facebook统计数据，社交分享信息量以倍数增长，今天分享信息总量比两年前增加了两倍，从现在开始后的一年，用户所产生的信息