如何打造高性能大数据分析平台.pdfVIP

如何打造高性能大数据分析平台 大数据分析系统作为一个关键性的系统在各个公司迅速崛起 但是这种海量规模的数据带来 了前所未有的性能挑战。同时 如果大数据分析系统无法在第一时间为运营决策提供关键 数据 那么这样的大数据分析系统一文不值。本文将从技术无关的角度讨论一些提高性能的 方法。下面我们将讨论一些能够应用在大数据分析系统不同阶段的技巧和准则(例如数据提取 数据清洗 处理 存储 以及介绍)。本文应作为一个通用准则 以确保最终的大数据分析 平台能满足性能要求。 1.大数据是什么? 大数据是最近IT 界最常用的术语之一。然而对大数据的定义也不尽相同 所有已知的论点例如结构 化的和非结构化、大规模的数据等等都不够完整。大数据系统通常被认为具有数据的五个主要特征 通常称为数据的5 V s。分别是大规模 多样性 高效性、准确性和价值性。 据Gart ner称 大规模可以被定义为“在本(地)机数据采集和处理技术能力不足以为用户带来商业价值 。当现有的技术能够针对性的进行改造后来处理这种规模的数据就可以说是一个成功的大数据解决 方案。 这种大规模的数据没将不仅仅是来自于现有的数据源 同时也会来自于一些新兴的数据源 例如常 规(手持、工业)设备 日志 汽车等 当然包括结构化的和非结构化的数据。 据Gart ne