盘点13种流行的数据处理工具.docxVIP

盘点13种流行的数据处理工具 导读：我们来看一些流行的数据处理工具。 数据分析是对数据进行摄取、转换和可视化的过程，用来发掘对业务决策有用的洞见。 在过去的十年中，越来越多的数据被收集，客户希望从数据中获得更有价值的洞见。他们还希望能在最短的时间内（甚至实时地）获得这种洞见。他们希望有更多的临时查询以便回答更多的业务问题。为了回答这些问题，客户需要更强大、更高效的系统。 批处理通常涉及查询大量的冷数据。在批处理中，可能需要几个小时才能获得业务问题的答案。例如，你可能会使用批处理在月底生成账单报告。 实时的流处理通常涉及查询少量的热数据，只需要很短的时间就可以得到答案。例如，基于MapReduce的系统（如Hadoop）就是支持批处理作业类型的平台。数据仓库是支持查询引擎类型的平台。 流数据处理需要摄取数据序列，并根据每条数据记录进行增量更新。通常，它们摄取连续产生的数据流，如计量数据、监控数据、审计日志、调试日志、网站点击流以及设备、人员和商品的位置跟踪事件。 图1展示了使用AWS云技术栈处理、转换并可视化数据的数据湖流水线。 ▲图1 使用数据湖ETL流水线处理数据 在这里，ETL流水线使用Amazon Athena对存储在Amazon S3中的数据进行临时查询。从各种数据源（例如，Web应用服务器）摄取的数据会生成日志文件，并持久保存在S3。然后，这些文件将被Amazon Ela