大数据关键技术及其展望-Michael Stonebraker演讲摘要.pdfVIP

大数据关键技术及其展望 根据图灵奖获得者Michael Stonebraker 教授演讲资料整理2016.9.17 1. 关于大数据 关于大数据，很多人说意味着三件事情，这三个单词都是以字母V 开头的。 大数据的问题，第一个就是量（volume ）很大。第二个是这些数据的产生速度 （velocity ）太快了，软件跟不上。第三个问题是数据来自许多不同的地方（variety ）， 你需要进行数据整合，但这些数据来源太多了，你想要整合这些数据就非常困难。 所以在这三个“V ”领域你要解决的问题是完全不一样的。 小结：量大、速度快、多样性，但这三个V 要解决的问题是完全不一样的。 2. 数据量大的问题-Big Volume 2.1 大数据简单分析 （SQL 分析） 在量方面，第一种情况是你要想做一些非常简单的分析，比如说SQL 分析。 第二种情况是，你想要做非常复杂的分析。前者是比较简单的，如果你想做SQL 分析的话，我知道你可能要在上百个节点，PB 的数据上面运行二十到三十个生 产实现，日以继夜地进行分析。在这些数据仓库产品中，有几款已经做得还不错 了。所以，这个市场的需求其实已经被一些商业软件很好地解决了，比如说Vertica ， 就是这样的一家数据仓库公司。他们最大的用户叫做Zynga 。Zynga 开发了一个 名叫FarmVille 的游戏。Zynga 会实时记录全世界每一个用户在玩他们的游戏时 每一次的点击，这样的话就可以利用他们的数据做人工智能研究，看看如何能够 让全世界的用户购买更多虚拟商品。所以，我认为这个问题已经得到了解决，因 为现在即使你从用户身上获得大量的数据，他们也不会感到不快。但我要提醒一 下大家，在过去十年里，我们已经经历了一个非常巨大的变化。 大约十年以前，如果你去和一些卖数据仓库产品的公司聊的话，他们基本上 卖的都是一种叫做“行存储” （row storage ）的产品，这是指存储的下一个对象是 同条记录的下一个属性。他们在磁盘上用行的方式存储数据。SQL 服务器以前 就是这样的。其他的数据仓库公司都是卖这样的产品。当时我成立的这家公司叫 做 Vertica 。我们从另外一个角度来看待这件事情，把行转 90 度，变成列，用 列的方式存储数据。于是，存储的下一个对象就从同一条记录的下一个属性，转 变为下一条记录的同一属性。这种方式比原来的行存储方式要快很多。Vertica 完 全颠覆了这个市场。它的速度比行存储产品要快 50 到100 倍，这是颠覆性的。 而这是由一家创业公司带来的。所以我认为，在这个市场上实现颠覆的一种 常见方式就是成立一家公司，然后去挑战那些大公司，让他们感受到威胁。所以 在过去的十年里，整个市场都开始转而采用列存储,其中包括微软的数据仓库产 品 PDW ，也是用的列存储，不过是 10 年后才用的。为什么列存储的速度要比 行存储快很多呢？当然，这背后有很深层次的技术原因，不过我现在没有时间去 详细解释了。厂商要取得成功，他们必须做出转变。于是，基本上除了 Oracle 外， 所有其他厂商都开始采用多节点列存储的方式，它的速度非常快。在过去的十年 里，正是由于这种颠覆性的转变，数据仓库产品的性能提升了50 倍。但是在我 看来，这已经是明日黄花了，就像 Peter Lee 所说的，人们现在感兴趣的是机器 学习，机器翻译，数据聚类，预测模型，这些才是接下来要做的重要事情。 小结：对于大数据量的简单分析，目前主要采用数据仓库，数据仓库可运行在上百个节点上， 对PB 级数据进行SQL 分析，从技术角度来讲基于列存储的数据仓库是主流，但现在人们更 关心是更复杂的分析，如利用机器学习和数据挖掘等技术来聚类、预测等。 2.1 大数据复杂分析 （机器学习与数据挖掘） 借用华尔街的说法，我们已经进入了“股市分析员”的时代。这些分析员其实 与火箭科学家无异。如果你是一名从事数据库工作的人员，当你仔细去看他们的 算法和他们的工作，你会发现，其实大部分的算法都是采用数组形式的线性代数， 而不是表格形式的 SQL。这与现实世界毫无关系。如果你再仔细看这些算法的 话，你会发现，其实大部分的算法都是内循环迭代，也就是执行几次诸