数据之舞：大数据与数据挖掘.pdfVIP

数据之舞：大数据与数据挖掘

泄密者爱德华斯诺登（·EdwardSnowden）还在寻求容身之所的时候，美国

国家安全局（NSA）全方位收集电话和电子邮件记录之事经过他的披露，已经引

发了不安和愤怒。

奥巴马当局声称，监听数据带来了安全，然而左翼和右翼都在谴责这种窥探

行为是对隐私的侵犯。

数据不是信息，而是有待理解的原材料。但有一件事是确定无疑的：当NSA

为了从其海量数据中“挖掘”出信息，耗资数十亿改善新手段时，它正受益于陡然

降落的计算机存储和处理价格。

数据挖掘这一术语含义广泛，指代一些通常由软件实现的机制，目的是从巨

量数据中提取出信息。数据挖掘往往又被称作算法。

威斯康星探索学院主任大卫·克拉考尔（DavidKrakauer）说，数据量的增长

——以及提取信息的能力的提高——也在影响着科学。“计算机的处理能力和存

储空间在呈指数增长，成本却在指数级下降。从这个意义上来讲，很多科学研究

如今也遵循摩尔定律。”

在2005年，一块1TB的硬盘价格大约为1，000美元，“但是现在一枚不到

100美元的U盘就有那么大的容量。”研究智能演化的克拉考尔说。现下关于大

数据和数据挖掘的讨论“之所以发生是因为我们正处于惊天动地的变革当中，而

且我们正以前所未有的方式感知它。”克拉劳尔说。

随着我们通过电话、信用卡、电子商务、互联网和电子邮件留下更多的生活

痕迹，大数据不断增长的商业影响也在如下时刻表现出来：

你搜索·一条飞往塔斯卡鲁萨的航班，然后便看到网站上出现了塔斯卡鲁萨

的宾馆打折信息

你观赏·的电影采用了以几十万G数据为基础的计算机图形图像技术

你光顾·的商店在对顾客行为进行数据挖掘的基础上获取最大化的利润

用算法预测人们购票需·求，航空公司以不可预知的方式调整价格

智能·手机的应用识别到你的位置，因此你收到附近餐厅的服务信息

大数据在看着你吗？

除了安全和商业，大数据和数据挖掘在科研领域也正在风起云涌。越来越多

的设备带着更加精密的传感器，传回愈发难以驾驭的数据流，于是人们需要日益

强大的分析能力。在气象学、石油勘探和天文学等领域，数据量的井喷式增长对

更高层次的分析和洞察提供了支持，甚至提出了要求。

这幅2005年6月至2007年12月海洋表面洋流的示意图集成了带有数值模

型的卫星数据。漩涡和窄洋流在海洋中传送热量和碳。海洋环流和气候评估项目

提供了所有深度的洋流，但这里仅仅使用了表层洋流。这些示意图用来测量海洋

在全球碳循环中的作用，并监测地球系统的不同部分内部及之间的热量、水和化

学交换。

在医学领域，2003年算是大数据涌现过程中的一个里程碑。那一年第一例

人类基因组完成了测序。那次突破性的进展之后，数以千计人类、灵长类、老鼠

和细菌的基因组扩充着人们所掌握的数据。每个基因组上有几十亿个“字母”，计

算时出现纰漏的危险，催生了生物信息学。这一学科借助软件、硬件以及复杂算

法之力，支撑着新的科学类型。

另一例生物信息学的应用来自美国国家癌症研究所。该所的苏珊·霍尔贝克

（SusanHolbeck）在60种细胞系上测试了5000对美国食品和药品管理局批准的

抗癌药品。经过30万次试验之后，霍尔贝克说：“我们知道每种细胞系里面每一

条基因的RNA表达水平。我们掌握了序列数据、蛋白质数据，以及微观RNA

表达的数据。我们可以取用所有这些数据进行数据挖掘，看一看为什么一种细胞

系对混合药剂有良好的反应，而另一种没有。我们可以抽取一对观察结果，开发

出合适的靶向药品，并在临床测试。”

互联网上的火眼金睛

当医学家忙于应对癌症、细菌和病毒之时，互联网上的政治言论已呈燎原之

势。整个推特圈上每天要出现超过5亿条推文，其政治影响力与日俱增，使廉洁

政府团体面临着数据挖掘技术带来的巨大挑战。

印第安纳大学Truthy（意：可信）项目的目标是从这种每日的信息泛滥中发

掘出深层意义，博士后研究员埃米利奥·费拉拉（EmilioFerrara）说。“Truthy是

一种能让研究者研究推特上信息扩散的工具。通过识别关键词以及追踪在线用户

的活动，我们研究正在进行的讨论。”

Truthy是由印第安纳研究者菲尔