大数据的风险和现存问题.docVIP

大数据的风险和现存问题 “大数据”成为2012年的关键词汇，被认为将会带来生活、工作与思维的重大变革。谷歌、亚马逊等互联网企业在利用大数据方面所做的工作使数据行业看到了新的发展路径。大数据在教育、医疗、汽车、服务性行业的应用所彰显的能量使企业、研究者对大数据的未来充满信心。《连线》杂志主编克里斯?安德森甚至早在2008年就断言数据洪流将会带来理论的终结，科学方法将会过时，其原话是“面对大规模数据，科学家“假设、模型、检验”的方法变得过时了”。 技术的变迁在任何行业都是值得欢欣鼓舞的，但不妨在此处借用苏珊?朗格在《哲学新视野》中的论述表达一点谨慎： 某些观念有时会以惊人的力量给知识状况带来巨大的冲击。由于这些观念能一下子解决许多问题，所以，它们似乎有希望解决所有基本问题，澄清所有不明了的疑点。每个人都想迅速的抓住它们，作为进入某种新实证科学的法宝，作为可用来建构一个综合分析体系的概念轴心。这种‘宏大概念’突然流行起来，一时间把所有东西都挤到了一边。 苏珊·朗格认为这是由于“所有敏感而活跃的人都立即致力于对它进行开发这个事实造成的”，这一论述放置在今日对大数据的狂热崇拜之中也极为恰当，大数据的流行并不意味着其它的理解与思考方式就不再适合存在，正如微软的Mundie先生所说，“以数据为中心的经济还处于发展初期，你可以看到它的轮廓，但它的技术上的、基础结构的、甚至商业模型的影响还没有被完全理解。”但不可否认的是人们确实将更多的学术兴趣转移到这一领域，而一旦人们能够以审慎的思路开始清晰的阐述它们，即便一时不能提供完美的解决方案，至少也是能让人有所获益的途径。 人们在谈论大数据的美好图景时当然没有完全忘记它可能带来的风险，但担忧多集中于大数据的后果，如信息安全，而没有集中于如何看待大数据本身。本文将就当前尤其国内技术环境下，进入大数据时代所面临的风险和存在的问题做简要分析，以希望能厘清概念，澄清一些误解。 大数据的面临的风险主要表现在以下几方面： 一、海量数据的计算速度 零售业巨头沃尔玛每小时处理超过一百万客户交易，输入数据库中的数据预计超过2.5PB(拍字节，2的50次方)——相当于美国国会图书馆书籍存量的167倍，通信系统制造商思科预计，到2013年因特网上流动的数据量每年将达到667EB(艾字节，2的60次方) ，数据增长的速度将持续超过承载其传送的网络发展速度。 来自淘宝的数据统计显示，他们一天产生的数据量即可达到甚至超过30TB，这仅仅是一家互联网公司一日之内的数据量，处理如此体量的数据，首先面临的就是技术方面的问题。海量的交易数据、交互数据使得大数据在规模和复杂程度上超出了常用技术按照合理的成本和时限抓取、存储及分析这些数据集的能力。 现在谈到大数据，难以避免言必称美国的倾向，那么美国究竟如何应对这这方面的问题呢？ 美国政府六个部门启动的大数据研究计划中，包括： DARPA的大数据研究项目：多尺度异常检测项目，旨在解决大规模数据集的异常检测和特征化；网络内部威胁计划，旨在通过分析传感器和其他来源的信息，进行网络威胁和非常规战争行为的自动识别； Machine Reading项目，旨在实现人工智能的应用和发展学习系统，对自然文本进行知识插入。 NSF的大数据研究内容：从大量、多样、分散和异构的数据集中提取有用信息的核心技术；开发一种以统一的理论框架为原则的统计方法和可伸缩的网络模型算法，以区别适合随机性网络的方法。 国家人文基金会（NEH）项目包括：分析大数据的变化对人文社会科学的影响，如数字化的书籍和报纸数据库，从网络搜索，传感器和手机记录交易数据。 能源部（DOE）的大数据研究项目包括：机器学习、数据流的实时分析、非线性随机的数据缩减技术和可扩展的统计分析技术。 从这份研究计划可以看出，绝大多数研究项目都是应对大数据带来的技术挑战，目前我们所使用的数据库技术诞生于上世纪70年代，大数据时代首先需要解决的是整个IT结构的重新架构，提升对不断增长的海量数据的存储、处理能力。 笔者最早进入数据分析领域是在1986年，使用的机器是长城，520，小的IBM机器，在完成数据输入、问卷输入之后，做一个最简单的命令操作，需要等三个小时之后才能出结果，我们现在面对大数据时的处理能力，形象化来讲就是当年PC机对小数据的处理能力。 这也就是大数据常和云计算联系在一起的原因，实时的大型数据集分析至少需要使用像MapReduce和Hadoop那样的分析技术并有数千台电脑同时工作，因为想做到实时分析，需要在数据库中空出分析工作空间，控制对资源和数据的访问，同时不影响生产系统。 在现有的技术条件下谈大数据需要充分考虑到硬件设施和分析技术的不足，因为这是前提，这也正是数据中心成为谷歌、亚马逊最高机密的原因，Facebook的开源硬件计划得到众多企业包括国内