六个超大规模Hadoop部署案例 .docVIP

六个超大规模Hadoop部署案例 虽然Hadoop是眼下热闹非凡的大数据领域最热话题，但它肯定不是可以解决数据中心和数据管理方面所有难题的灵丹妙药。考虑到这一点，我们暂且不想猜测这个平台未来会如何，也不想猜测各种数据密集型解决方案的开源技术未来会如何，而是关注让Hadoop越来越火的实际应用案例。 案例之一：eBay的Hadoop环境 eBay分析平台开发小组的Anil Madan讨论了这家拍卖行业的巨擘在如何充分发挥Hadoop平台的强大功能，充分利用每天潮水般涌入的8TB至10TB数据。 虽然eBay只是几年前才开始向生产型Hadoop环境转移，但它却是早在2007年就率先开始试用Hadoop的大规模互联网公司之一，当时它使用一个小型集群来处理机器学习和搜索相关性方面的问题。这些涉及的是少量数据；Madan表示，但是就这个试验项目而言很有用；不过随着数据日益增加、用户活动日益频繁，eBay想充分利用几个部门和整个用户群当中的数据。 eBay的第一个大型Hadoop集群是500个节点组成的Athena,这个专门建造的生产型平台可以满足eBay内部几个部门的要求。该集群只用了不到三个月就建成了，开始高速处理预测模型、解决实时问题；后来不断扩大规模，以满足其他要求。 Madan表示，该集群现由eBay的许多小组使用，既用于日常生产作业，又用于一次性作业。小组使用Had