LinkedIn大数据应用和Azkaban.pdf

LinkedIn 大数据应用 以及Azkaban 1 提纲 • 列举主要的大数据应用 • Hadoop 平台和技术 • 作业流管理平台Azkaban 2 我是谁 俞晨杰 3 世界最大的职业社交网络 Connect Talent Opportunity. At scale… 259M+ 2 new 100M+ 3M+ Members Worldwide Members Per Second Monthly Unique Visitors Company Pages 4 LinkedIn，大数据，Hadoop 5 数据产品 • Terabytes in, Terabytes out • 结果被应用于终端产品 InMaps Browse maps Skills/Endorsements Recommendations PYMK (People you may know) • 最早开发于2006 – 6-8 Million members • 早期运行于Oracle • 基于用户共同点 – 教育经历, 工作… etc • 基于用户共有联系人 – 三角闭合 基本算法：三角闭合的问题 Dave Mary ? Steve PYMK 的问题 • 2006年8百万用户－－2009年5千万用户 • Oracle 无法支持 • 程序经常失败 • 前端数据陈旧 – 6 weeks – 6 months! PYMK 的出路：Hadoop • Apache Hadoop 0.20 （2009 ） • 20 node cluster (repurposed) • PYMK in 3 days! 现在的PYMK Workflow runs for 24hrs 76 Hadoop Jobs 100 TB input 4 TB output 11 12 推荐系统／相关性引擎 • 无所不在的推荐需要 – 工作，人才，新闻，公司，联系人，。。。 • 平台化思路 – 开发平台化方案