《开放平台产品技术发展（csdn）》.pptVIP

淘宝开放平台技术和产品演进 放翁（文初） 2012.8.28 淘宝开放平台技术和产品演进 淘宝开放平台技术和产品演进 萌芽（2007） 业务： SAAS概念开始普及 卖家类服务草莽成长（页面获取数据的方式） 产品： 内部开始试点SAAS平台，希望通过构建组件化平台，让isv依赖于平台搭建应用服务于卖家。 萌芽（2007） 萌芽（2007） 技术： 服务化：OSGI，SCA，Webservice，ESB，SOA 解决手段：SCA结合Spring方式来实现bundle内部spring简单组合，bundle外部通过SCA规范和Webservice实现接口互通。 延展内容：服务安全，服务管理 带来的痛苦： 服务化看似很美好，但对于内部来说用框架限制太重，性能，调试，维护，协作效率都会受到限制。 服务粒度控制成为最大的设计障碍，太细增加服务管理成本，太粗会降低服务复用性。（应用和业务模块边界的界定） 关注于工具，平台，语言等表象层面的东西，忽略了市场对业务的需求，以及开发者真实的业务诉求（易用，商业化等） 雏形（2008） 业务： 部分卖家应用开始转型到阿里软件开放平台，服务市场有了简单雏形，淘宝业务开放走出了第一步。 产品： 阿里软件创建了阿里系第一个开放平台，业务对接阿里软件自有服务（旺旺，简单的企业管理流程），淘宝的服务。08年底，淘宝服务开放30个，日均服务调用量2000w。 开放平台基础设施开始构建：服务网关，应用授权中心，开发者中心，简易的服务市场。 雏形（2008） 雏形（2008） 技术： OAuth 0.x的借鉴，自有授权流程的设计（步骤接近于OAuth2，客户端模式考虑不多） 服务mashup的关注：数据层（Gdata，json等），语言层面YQL，Yahoo pipe（rss） 数据分析：Hadoop的尝试，每日文件离线计算 集中式缓存实践：memcached的引入和自有客户端的开发。（客户端容灾，软负载均衡，NIO等） 产品化（2009） 业务： 卖家应用开始正式转战淘宝开放平台，服务市场有了明确定位（淘宝的卖家和买家），市场逐步有了。 产品： 淘宝开放平台，淘宝箱（卖家服务市场前身）。09年底，淘宝服务开放100个，日均服务调用量4000w。 产品化（2009） 产品化（2009） 技术： 流量控制，规则多样化。（集中式缓存） 服务隔离：（尝试使用jetty和tomcat，失败告终），尝试使用LVS支持软路由控制服务分流。 利用mysql做一些在线及时分析，满足一些简单的统计告警需求。（hadoop做离线统计） 自有日志分析框架版本雏形出现，解决MR编写维护成本，支持在线配置修改方式满足统计需求。（Hive的工作类似） 优化web容器数据流解析部分。（解析原始二进制数据流，穿插业务控制内容到数据解析过程中，实现lazy parser，按需解析） 平台化（2010） 业务： 淘宝正式对外宣布开放，赢在淘宝等运营活动激活了大量的卖家应用（管理，营销），买家类应用逐步出现，顺应sns化，大量的游戏应用首先占有了买家市场。 产品： 淘宝开放平台（服务生命周期管理，数据透明化）。10年底，淘宝服务开放304个，日均服务调用量8亿。 平台化（2010） 平台化（2010） 技术： 流式数据分析单机到集群构建（反向任务索取替代正向任务分配，支持多数据来源分析，MS协作基础通信层建立），每半小时分析一次结果，分析规则动态配置 服务隔离：初步引入Jetty，开始封装支持Comet的容器，实现web请求处理异步化 API定义有schema描述，服务半自动接入，文档，sdk可自动生成。 对服务路由应用实行管道化结构重构，支持业务灵活降级和灰度发布测试，也为异步化web服务提供更细粒度的资源分配控制。 数据访问控制层优化（富客户端：bloom filter，多级缓存，访问降级控制） 市场化（2011） 业务： 卖家市场趋于成熟，sns热潮退去，站内买家应用部分开放，无线市场刚刚起步，淘宝客市场飞速发展。 产品： 淘宝开放平台（多样化服务：ATS，TQL，Streaming api，访问控制多样化）。11年底，淘宝服务开放798个，日均服务调用量19亿。（淘宝客占了一半） 市场化（2011） 市场化（2011） 技术： 流式数据分析进入第一阶段成熟期（单机性能调优，多核充分利用（计算换存储），磁盘换内存，数据压缩，任务分拆（shuffle），经历着hadoop经历着的事情，保留着最初的设计基础），每3分钟分析一次结果，分析规则动