对大数据管理系统应用统一查询.PDF

对大数据管理系统应用统一查询 集成大数据系统与企业数据仓库 O R A C L E 白皮书 | 2 0 1 6 年3 月 目录 引言 1 不同数据访问API 带来的挑战 2 统一查询需求 3 统一查询的价值 4 统一查询和企业信息架构 4 统一查询、数据科学和业务智能 5 统一查询和应用程序开发 5 查询特许和Oracle Big Data SQL 6 语言级联合 6 查询特许：Big Data SQL 方法 7 总结 8 引言 虽然一些人仍认为大数据不过是个噱头，但与大数据相关的工具和方法却日益成为大型信息管理架构的重 要组成部分。实际上，随着大数据进一步渗透到企业 IT，大数据本身的业务正在蓬勃发展。IDC 最近发 布的一项预测表明，大数据技术和服务市场将以 27% 的年复合增长率 (CAGR) 增长，到 2017 年，该市 1 场将增长为 324 亿美元 — 大约是整个 IT 市场增长率的六倍 。在这个快速变化的时代，各个组织必须仔 细规划，以最大程度发挥大数据的业务优势，同时将采用新技术的风险降至最低。 1 新的IDC 全球大数据技术和服务预测表明，该市场预计到2017 年将增长为324 亿美元 /getdoc.jsp?containerId=prU 信息管理和大数据— 参考架构 更广泛的 Hadoop 生态系统的两个组件 （包括Apache Hadoop 和Apache Spark 项目）以及许多NoSQL 数据库正在为组织提供价值。NoSQL 存储可以提供简单、可横向伸缩、低延迟的数据访问，适合支持联机 应用程序，而成本只是更强健的多方面关系数据库的一小部分。借助Apache Hadoop ，尤其是其分布式文 件系统 (HDFS)，许多企业无需以高昂成本扩展传统的存储连接网络设备就可以在他们的信息架构中构建 一个更丰富、更深入的基础层。在分析方面，Apache Spark 及其相关组件允许通过简单的多种语言的API 来提供可伸缩、复杂的机器学习。 尽管大数据技术可能为业务带来诸多好处，但是它们也让老企业面临着深度挑战。面临的最大挑战是技能 缺口，随着更广泛的大数据生态系统的每一个进步，这一缺口也会越来越大。正如 F 网络撰稿 人 Gil Press 所说，“技术人才短缺问题将持续存在。光是在美国，到 2018 年将会有 181,000 个深度分析 职位，是许多要求具有数据管理和解释相关技能的职位的 5 倍。”2 除了技能，为了将通过大数据解决方案 创造的价值融入到更广泛的企业信息架构，需要对这些系统中保存及生成的数据施加安全和治理策略。在 敏感信息泄露事件日益增多的时代，组织不可忽视健全的数据治理和安全，不管他们是否精通分析技术。 不同数据访问API 带来的挑战 图1