世界数据化的广度深度限度.docVIP

世界数据化的广度深度限度 　　大数据代表了一种将世界数据化的思路 　　大数据代表了一种将世界数据化的思路。笼统地说，人类所有的历史、社会、知识、行为、态度等等，所有的一切都可以被看作是有待数字化的数据。这些数据由来已久，只是没有方法将其整合到一个统一的框架下进行分析。进入到互联网时代，各种数据更是以每年50%的速度增长，每两年便会翻一番。麦肯锡的研究认为，数据已经渗透到每一个行业和业务职能领域，逐渐成为重要的生产要素。预计到2015年，全世界的数据总量将达到7.9ZB。这些数量庞大、种类繁杂并且仍在不断累积的数据在政府机构、企业组织甚至是公民的日常生活中沉睡，以往分析小数据的方法显然捉襟见肘，但是如果没有方法来唤醒它们，这些就只能是“数据垃圾”。 　　随着专门处理大规模数据的算法、非关系型数据库以及多类型大数据管理开源框架的研发，这些大规模的数据终于可以被利用起来。维克多·迈尔-舍恩伯格在《大数据时代》一书中对大数据提出了三组命题：要全体不要抽样，要效率不要绝对精确，要相关不要因果。这种论断似乎想说明大数据更注重“量”而不追求“质”。但实际上，大数据虽然相比较传统的数据处理理念确实出现了转变，但是并非如此截然相反。这三组命题对应到数据处理过程中分别是指处理器密度型还是数据密度型，数据量与模型复杂度关系以及算法逻辑。一般情况下，我们认为，因果性分析也是相关性分析的一种，当数据与算法日趋成熟之后，相关性分析必然会走向更为“直接”的因果分析。另一方面，根据相关研究发现，数据越大，精度越高，不同数据的精度分类会趋同，从而使得对于小数据至关重要的算法趋同，同时模型的复杂度越高，对于事物的预测情况也就越准确。 　　因此，大数据技术的战略意义是通过对大规模的数据进行专业化的处理，实现数据的“增值”。而所谓的“增值”，就是指可以通过大数据分析，找到事物内部或者事物之间潜在的关系形态。虽然大数据分析现在还只是刚刚起步，但一些研究成果已经足以让人惊讶不已。2010年美国东北大学的Alan Mislove博士领导的国家脉动（Pulse of the Nation）项目，通过对3亿条Twitter中的关键词进行追踪与分析，绘制了一幅反映美国各地区人们一天当中不同时段情绪波动的实时色彩图，研究清晰地显示出佛罗里达州确实是美国“最幸福”的地方。而2012年美国的总统大选，奥巴马的竞选团队在华盛顿数据极客的帮助下，通过集群分析的方法处理社交数据，从而建立起了更加准确的选民模型和竞选计划，再次成功地把握了选民的意愿，并最终赢得大选。 　　大数据运用的“深度”与“广度” 　　大数据的成功基于大规模的数据覆盖和深度的分析挖掘，数据的规模——“广度”与分析的程度——“深度”，两者是相辅相成的。建立在这两个基础上的大数据应用，对于国家和社会而言，具有深远的意义。 　　首先，大数据为国家的政策决策、宏观调控提供了详细的动态资料，具有重要的参考价值。比如相比较国家的消费指数CPI，中国同时也是亚太地区最大的网络零售商淘宝网还有一个自己的“淘宝消费者价格指数”（TCPI）。用淘宝网商业智能部报告中的话来说，这一指数“比国家CPI更加敏感，TCPI的涨跌趋势比国家CPI超前，是‘春江水暖鸭先知’。”因此在官方对于社会发展各项指标的监测追踪与分析的渠道之外，补充以大数据为基础的信息数据，可以更加准确地把握社会的现实情况。 　　第二，大数据在商业价值链中将发挥重要的调节作用。相关研究表明，大数据的应用可使美国制造业的产品开发和组装成本降低50%，使零售业净利润增长60%。这对于制造业和零售业来说，影响和变化堪称是革命性的。此外，一些围绕数据分析的业务也将兴起：众包式的数据分析服务，包括可视化、关系型数据库供应，非关系型数据库（NoSQL）市场重组等都将成为新的经济增长点。 　　第三，大数据还可以在政府公共服务、民生医疗服务、维护社会安定、动态安全监管等领域发挥巨大作用。2011年美国麻省理工大学SENSEable City Lab开发的实时新加坡（LIVE Singapore！）项目，通过建立一个收集、细化、分布式的反映城市活动的实时数据开放平台，将公众自主生成的数据即时反馈显现出来，方便他们获得城市的实时信息，比如回家时间掌控、雨天打车信息、突发事件脱险、航班信息查询等等，以便公众及时作出应变，优化决策。 　　另外，未来大数据将成为下一轮的信息资源竞赛的核心。据悉，2011年美军加紧推进大数据研发计划，确定了“从数据到决策、网络科技、电子战与电子防护、工程化弹性系统、大规模杀伤性武器防御、自主系统和人机互动”等7个重点研究领域。2012年3月，奥巴马政府投资2亿美元运作“大数据研究与开发计划”以抢占数据资源开发利用的制高点。2012年5月，联合国“全球脉动”