PB 规模的 HDFS 数据在 eBay 的迁移实战.docxVIP

10PB 规模的 HDFS 数据在 eBay 的迁移实战 过往记忆大数据 2021-12-08 以下文章来源于eBay技术荟 ，作者林意群 HYPERLINK eBay技术荟 . eBay技术荟，与你共享最杰出的技术，最前沿的讯息，最多元的文化。 导读 INTRODUCTION Hadoop分布式文件系统（HDFS）是指被设计成适合运转在通用硬件上的分布式文件系统（Distributed File System）。本文将引见eBay ADI Hadoop team如何克服万难，在短短两小时内将近1000万级别文件数量与10PB规模大小的数据全部迁移至新的namespace，从而达到RPC流量迁移的效果，保证了HDFS集群的稳定性。 01 背景 本文所引见的这场PB规模量级的数据迁移其实由来已久，当时我司内部由于新业务上的支持，导致HDFS集群数据量一度激增。通过每日的RPC（Remote Procedure Call，近程过程调用）总量统计结果，整个集群的RPC处理量比之前翻了2~3倍之多；随之而来，我们的HDFS集群承受了史无前例的RPC压力，以至于经常处于特别劳碌的形态，而关键SLA任务也会由于HDFS过慢而时不时地发生延时问题。 上述症结已经不是通过打个简约的patch就能立马处理的问题，基于该背景，我们打算接受新加HDFS Federation的方式，将部分业