唯快不破互联网英特尔助迅雷盘活冷数据.PDF

唯快不破互联网：英特尔助迅雷盘活冷数据 2015 年06 月29 日 睿商在线 夏添 摘要：在竞争激烈的互联网行业中，“唯快不破”已经成为从大到小各路玩家奉为圭臬的行为准则。业务设 置更加细致，业务调整先人一步，才能在激烈的市场竞争中脱颖而出。传统的互联网下载服务提供商， 在互联网内容极大丰富，以及互联网版权意识越来越清晰的今天，寻找新的发展方向已经成为业务发展 过程当中面对的当务之急。 凡是有年头的互联网民，很少有人没使用过专门的下载工具。即使是电脑盲，如果拥有优酷、百度音乐 和各种软件管家，他们进行内容的寻找和下载时，也能在熟手的简单指导下，几次点击中就可完成。 在几年之前的互联网，大部分被旁人认作“电脑高手”的网民通过下载工具来实现资源的获取和分享。而直 到互联网内容极大丰富的今天，包括高清晰度视频、无损音乐和冷门软件在内的大量互联网内容，同样 要通过互联网下载工具来完成。 在竞争激烈的互联网行业中，“唯快不破”已经成为从大到小各路玩家奉为圭臬的行为准则。业务设置更加 细致，业务调整先人一步，才能在激烈的市场竞争中脱颖而出。传统的互联网下载服务提供商，在互联 网内容极大丰富，以及互联网版权意识越来越清晰的今天，寻找新的发展方向已经成为业务发展过程当 中面对的当务之急。 来自深圳的迅雷公司作为互联网下载优化市场中绝对的领先者，拥有数以亿计PC 端用户和上亿移动端用 户的庞大市场规模。近年来，公司一直在视频服务、CDN 服务等一系列新的业务领域中不断探索。随着 互联网数据的飞速膨胀以及自身业务的不断扩张，对作为公司核心资产的文件进行更高效的管理需求已 经迫在眉睫。 在业务不断发展过程中，迅雷自身的IT 系统也在不断扩张。目前，迅雷在全国各地拥有20 个数据中心， 数以千计的服务器一刻不停地为包括下载、视频和CDN 在内的各种业务提供服务。对于迅雷而言，主营 业务有腾讯等大玩家虎视眈眈、视频、游戏和CDN 等新业务又急需搅动市场格局，提升服务质量以留住 用户，就成为企业在业务扩张过程中企业需要解决的主要问题。 在快节奏消费的今天，互联网上传播的内容——无论是视频、音乐还是游戏的保鲜期都异常短暂。热门 剧集的更新可能在24 小时内产生数以百万计的访问，而几个月之后的同一剧集可能就成为鲜有人访问的 冷门数据。而同时在社交网络的快速传播之下，一个简单的流行话题就可能在短短的时间内，让早已无 人问津的文件重新成为下载热门。如果没有高效率、高灵活性和低成本的存储解决方案支持，响应速度 就要大受影响。 在业务扩张的过程中，迅雷并没有对IT 系统进行长线的有效管理。在迅雷原有的数据中心之中，计算系 统和存储系统并没有进行有效的区分，大部分服务器节点都同时兼顾计算和存储任务，这也为 IT 负责人 在对IT 系统的日常维护工作上带来了不必要的麻烦。更重要的是，由于存放数据的服务器并非专门为存 储而设计，将存储系统从计算系统中独立出来进行管理，对迅雷这样拥有以 PB 为单位的巨量非结构化数 据的企业而言，已成不得不发之势。 而与此同时，在迅雷大量的数据中，绝大部分都是鲜有人访问的冷门数据，如果按照每天数以百万计的 访问需求为这些冷门数据搭建完整的IT 系统，毫无疑问将是巨大的资源浪费。将存储系统中存储的热门 数据和冷门数据分离，分别存放在不同的系统之中，将能有效地降低整个系统的后期管理和维护成本。 在迅雷的存储系统改造规划中，存储小部分热门数据的载体是基于产业主流的英特尔至强 E5 处理器的标 准机架式存储服务器产品，而在存储冷门数据的载体上，迅雷的IT 管理者犯了难：是否能有一套IT 系统， 能够满足高密度、低成本的海量数据存储，同时在数据从“冷”重新到“热”的变化过程中，能够以最快的速 度提供最高品质体验的解决方案？ 要实现这样的需求，显然需要对存储服务器的深度定制化。在经过多方的比较之后，来自深圳的云海麒 麟计算机系统有限公司最终入围，以基于英特尔在处理器、存储、网络和软件等领域核心技术的低功耗、 高密度、高性能存储服务器YH-2208L，作为迅雷高达数十PB 的冷数据存放载体。 在英特尔技术团队的支持和云海麒麟技术人员的攻关之下，从2014 年12 月迅雷提出需求，到2015 年 2 月底拿出样机，到了4 月，第一批高度定制的冷数据存储服务器就已经开始在迅雷遍布全国的20 个数 据中心中通过测试，并开始发挥冷数据存放的价值。根据迅雷的预估，到年底时，当前所有的冷数据全 部都要迁移到年内陆续采购的近2000 台存储服务器之中。 尽管在低成本存储服务器中，目前已经有多种不同的架构可供选择，但在迅雷的项目中，云海麒麟提供 的仍旧是一套完全基于英特