使用 Hive 构建数据库和数据仓库.pdfVIP

使用 Hive 构建数据仓库 省钱的数据仓库 Peter J. Jamack, 大数据分析顾问, Peter J Jamack 简介：各个组织已围绕数据仓库展开了数年的争斗。您如何构建它？您可以集成哪些数据？您应该使用Kimball 还是 Inmon，企业信 息工厂(CIF) 还是数据集市？这些问题已存在多年，甚至数十年。对于大数据，问题变得复杂得多，比如一个数据仓库是否够用？答案 取决于具体企业。人们声称 Hive 是 Hadoop 的数据仓库。尽管从某个层面上讲这是真的，但这种说法也有 分虚假。不过，有时您必 须使用您可以使用的工具，就此而言，可以将 Hive 用作一个数据仓库。 发布日期： 2013 年8 月 16 日 级别： 中级 原创语言：英文 有 3 个家伙来到了一家企业。第一个 （数据仓库）身材魁梧：他带来了历史和经验，而且能言会道，所说的大部分话都是真的。但 是，在许多方面，它有些自我膨胀，在另一些方面又有些铺张浪费，而且人们厌烦了各种结果的代价。Apache Hadoop 进入了同一栋 建筑，声称要接管整个市场。他大肆鼓吹大数据、速度、数据量、种类以及一堆v 开头的词汇，这些词汇在市场营销计划之外没有多 大意义。他 不经心地说着分析、预测等等。而且他要价很低。于是人们开始停下来倾听。 Apache Hive 在屋外徘徊，他没有打算和其他人争论。他希望与Hadoop 合作，但不同于Hadoop，他不希望将数据仓库抛在路边。 Hive 拥有数据仓库功能，但在商业智能(BI) 和分析上有一些限制。它具有数据库的潜力，但也具有关系数据库管理系统(RDBMS) 和 结构化查询语言(SQL) 方面的限制。它更加开放和诚实。它与数据仓库密切相关，与RDBMS 也密切相关。但它从未站出来声称它并 不像初看起来那么简单。Hadoop 打断了谈话，声称它是 Hadoop 领域的数据仓库。Hadoop 似乎让出了最优秀营销公关代表的地位， 在一次简单的对话之后，结果变成了是 Hive 和 Hadoop 在拯救世界。这种描述很吸引人，也很有趣。但它是真的吗？有 分相似。 数据仓库 构建一个真正的数据仓库可能是一个庞大的工程。有许多不同的设备、方法和理论。最大的共同价值是 么？事实是 么，哪些主题 与这些事实相关？以及您如何混合、匹配、合并和集成可能已存在数十年的系统与仅在 个月前实现的系统？这还是在大数据和 Hadoop 之前。将非结构化、数据、NoSQL 和Hadoop 添加到组合中，您很快就会得到一个庞大的数据集成项目。 描述一个数据仓库的最简单方式是，认识到可以将它归结为星形模式、事实和维度。您如何创建这些元素，决定权在您手上 通过暂 存数据库；动态提取、转换、加载流程；或者集成辅助索引。当然，您可以构建一个包含星形模式、事实和维度的数据仓库，使用 Hive 作为核心技术，但这并不容易。在Hadoop 世界外部，这会成为一个更大的挑战。与其说Hive 是一种合法的数据仓库，倒不如 说它是一个集成、转换、快速查找工具。该模式可能像是数据仓库，但适用性表明它不是 RDBMS。那么为 么使用它？ 星形模式是什么 想象一颗星星 具有一个中心和多个指向不同方向的“手臂”。中心是动力之源或事实表。所有手臂都指向不同维度。许多数据仓库有 一个事实表和多个维度。 事实表包含您可以加权或计算的任何数据。在此示例中，您拥有棒球统计数据，比如跑垒、全垒打、击球率等。您可以计算、增加、 减去或乘以这些列。 维度更加以主题为基础。在此示例中，您有运动员信息维度、时间和日期维度，等等。通常没有计算或加权多个维度中的列。 在此示例中，将一个维度表与一个事实表连接的键是 playerID 。 简单来讲，有时您需要使用摆在面前的工具。 任何从事过一段时间的IT 工作的人都可能告诉您，适合一项工作的正 工具并不总是能够用到。或者，正 的工具虽然用得到，但为 了削减成本会阻碍使用该工具。有时企业政治学发挥着重大作用。无论 么原因，我们大部分人在很多情形下被迫使用可能并不是最 适合其工作的工具来构建、设计和开发。 在我参与的