2.七月技术沙龙之水煮TTB(TaobaoTencentBaidu)案例.ppt

腾讯搜索架构 百度开发云系统结构 Taobao Fourinone Baidu云平台 Baidu云平台 腾讯搜索架构 百度个人云系统结构 Taobao Fourinone Baidu云平台 Baidu云平台 腾讯搜索架构 百度个人云系统生态环境 Taobao Fourinone Baidu云平台 Baidu云平台 腾讯搜索架构 云存储系统 Taobao Fourinone Baidu云平台 Baidu云平台 腾讯搜索架构 云引擎系统 Taobao Fourinone Baidu云平台 Baidu云平台 腾讯搜索架构 云引擎云端结构 Taobao Fourinone Baidu云平台 Baidu云平台 腾讯搜索架构 云通信系统 Taobao Fourinone Baidu云平台 Baidu云平台 Baidu云平台 无论Taobao、Tencent还是Baidu，其内部的核心软件架构（或曰云平台）都未超出是分布式计算、分布式调度、分布式缓存、分布式文件系统以及消息中间件的范畴。 但是，从私有云到公有云，再到个人云， Baidu云平台从不同角度描述了PaaS云平台系统的生态环境。 这提醒我们，作为一个技术人员还要多关心 这个技术的生态环境和业务领域。 * 1.《淘宝分布式并行计算框架fourinone》，彭渊2.《合久必分，分久必合》，洪强宁3.《百度下一代云平台》，肖伟 参考文档 谢 谢 谢 谢 说明：本文维普及性介绍讨论，如果有对分布式计算感兴趣，请私下交流。 总的来说，是将大数据的复杂分布式计算，设计为一个链式的多“包工头”环节去处理，每个环节包括利用多台“农民工”机器进行并行计算，无论是拆分计算任务还是合并结果，都可以设计为一个单独的“包工头”环节。这样做的好处是，开发者有更大能力去深入控制并行计算的过程，去保持使用并行计算实现业务逻辑的完整性，而且对各种不同类型的并行计算场景也能灵活处理，不会因为某些特殊场景被map/reduce的框架限制住思维，并且链式的每个环节也方便进行监控过程。 * 说明：本文维普及性介绍讨论，如果有对分布式计算感兴趣，请私下交流。 说明：本文维普及性介绍讨论，如果有对分布式计算感兴趣，请私下交流。 架构设计室 张勇 2012年7月 分布式软件系统 之 水煮TTB(Taobao/Tencent/Baidu) Contents Taobao 的 Fourinone 从Tencent搜索架构看竖井与平台 Baidu的云平台 腾讯搜索架构 Taobao Fourinone Baidu云平台 Taobao分布式架构 Fourinone是Taobao内部一个新的分布式并行计算框架。该框架集成了Hadoop、Zookeeper、MQ和分布式缓存四大主要的分布式计算功能，Fourinone的功能强大用途广泛，实现了zookeeper的所有功能并进行了很多改进，同时又提供完整的分布式缓存支持，包括中小型缓存以及大型集群缓存。 Fourinone使用不同于map/reduce的全新设计模式解决问题，模仿现实中生产加工链式加并行处理的“包工头/农民工/手工仓库”方式设计分布式计算，他还可以当做简单的MQ使用。 腾讯搜索架构 Taobao Fourinone Baidu云平台 Taobao分布式架构 腾讯搜索架构 Taobao Fourinone Baidu云平台 Taobao分布式架构 腾讯搜索架构 Taobao Fourinone Baidu云平台 Taobao分布式架构 模式一：基于消息队列的计算模式。优缺点？ 腾讯搜索架构 Taobao Fourinone Baidu云平台 Taobao分布式架构 模式二：基于任务调度的网状交互计算模式。优缺点？ 腾讯搜索架构 Taobao Fourinone Baidu云平台 Taobao分布式架构 Taobao分布式架构 Fourinone 是淘宝架构团队在充分研究hadoop基础上开发的一套新的自由架构。它具备hadoop的优点，却避免了hadoop的 诸多缺陷，尤其是实时性问题。4in1更像一个流式计算系统。 最初接触4in1是在QCon2012北京全球开发者大会。在淘宝架构室彭渊的眼里，4in1几乎是十项全能冠军，测试数据也仿佛如此。但我们知道没有一个系统是全能的。 Fourinone目前网上已经有简版的开源代码，感兴趣的可以去下载研究或向我索要。 Contents Taobao 的 Fourinone 从Tencent搜索架构看竖井与平台 Baidu的云平台