大数据时代正在到来.docVIP

大数据时代正在到来 作者冯海超 摘要：大数据是近两年最热门IT概念之一。2012年是大数据正式启蒙之年，而一系列标志性事件的发生和建立，让人们越发感觉到大数据时代的力量。全球范围来看，大数据体现的巨大经济价值，成功地获得了金融界和政界的亲睐。 大数据是近两年最热门IT概念之一。 进入2012年以来，这个领域的风潮逐渐从专业IT人士和数据分析师，扩散到所有关注科技、互联网以及营销领域的人群中，甚至还包括政界人士。而2013年，也被许多国外媒体和专家称为“大数据元年”，如此看来，2012年应该是大数据正式启蒙之年，而一系列标志性事件的发生和建立，让人们越发感觉到大数据时代的力量。 回到2012年2月，《华尔街日报》发表文章《科技变革即将引领新的经济繁荣》，文中罕见地做出大胆预见:“我们再次处于三场宏大技术变革的开端，它们可能足以匹敌20世纪的那场变革，这三场变革的震中都在美国，他们分别是大数据、智能制造和无线网络革命。” 在中国硅谷之称的中关村，大数据产业已经纳入《中关村战略性新兴产业集群创新引领工程（2013-2015年）》，将开展云运营和大数据示范应用，建设云计算应用支撑平台、虚拟化平台，支持开展海量数据存储、数据挖掘和分析等技术的行业应用，以及大规模云运营服务和大数据挖掘服务。甚至2012年12月13日被命名为首个“中关村大数据日”，中关村示范区接连成立大数据产业联盟、发布三支产业投资基金，支持中国大数据产业发展。 这并不稀奇。事实上美国奥巴马政府已经把“大数据”上升到了国家战略的层面。今年3月，奥巴马政府宣布投资2亿美元启动“大数据研究和发展计划”，希望增强收集海量数据、分析萃取信息的能力。另据一份报告显示，英国政府通过高效使用公共大数据（Big Data）每年可节省330亿英镑。这个数字相当于英国每人每年节省500英镑。事实上在国家层面，大数据已经成为继边防、海防、空防之后，第四个大国博弈的空间。 一个关于大数据价值的核心的逻辑是，这种背景下，在商业、经济、政府及其他领域中，决策行为将日益基于数据和分析而作出，而并非基于经验和直觉；而在公共卫生、经济预测等领域中，“大数据”的预见能力也已经崭露头角。 数据商业与技术爆发 关于大数据领域最经典的案例再也不是老掉牙的“啤酒与尿布”，而是来自一位美国少女。 今年年初，美国一名男子闯入了他家附近的Target店铺（美国一家零售连锁超市）。“你们怎么能这样！”男人向店铺经理大吼到，“你们竟然给我17岁的女儿发婴儿尿片和童车的优惠券，她才17岁啊！”店铺经理不知道发生了什么，立刻向来者道歉，表明那肯定是个误会。然而，经理没有意识到，公司正在运行一套大数据系统。但高潮是，一个月后，这个愤怒的父亲打来电话道歉，因为Target发来的婴儿用品促销广告并不是误发，他的女儿的确怀孕了。 在这个案例中我们看到，数据的力量，不仅让商家提升了自己的业绩，还让客户为之心甘情愿买单。据报道，Target创建了一套女性购买行为在怀孕期间产生变化的模型，不仅如此，如果用户从他们的店铺中购买了婴儿用品，Target在接下来的几年中会根据婴儿的生长周期情况定期给这些顾客推送相关产品，使这些客户形成长期的忠诚度。 事实上在商业零售领域，诸如沃尔玛、Tesco等巨头已从数据中获得了巨大的利益，也因此巩固了自己在业界的长盛不衰。 在互联网行业中，大数据更是为电商、广告商们提供了丰厚的回报。雅虎于 2008 年初便开始启用大数据技术，每天分析超过 200PB 的数据，使得雅虎的服务变得更人性化，更贴近用户和客户。它与雅虎 IT 系统的方方面面进行协作，包括搜索、广告、用户体验和欺诈发现等。AOL 也设立了 300 节点的服务器集群，将在其下属系列网站（如 AOL.com、Huffington Post、MapQuest 等）中每天 500TB 的用户浏览信息收集起来，分析和预测这些用户的行为，以便有针对性的为每个月 1.8 亿独立用户进行个性化广告服务。 当然，视数据为生命的不仅限于这些每天产生海量数据的零售和互联网行业，在生物医药、运动产品、能源甚至政务领域，数据越来越成为最不可或缺的价值。而支持其被后爆发的，则是大数据技术的迅猛发展。 一方面，数据量的爆发增长和数据结构的多样性，使得传统的关系型数据库技术已无法满足这些需求，但上世纪末出现的NoSQL技术一开始并未得到广泛应用，直到2009年，在搜索引擎、社交网络等互联网应用盛行使得数据量迅猛增加后，才开始为人们所重视并投入使用。发展到今天，NoSQL技术已经形成了一系列不同用途的数据库管理系统， 2004年初，Google开始研发BigTable非关系型数据库系统，它是建立在Google文件系统之上的一种压缩的、高扩展的数据库技术，可以让Google对于自身新