Java在淘宝广告系统中的应用.pdfVIP

一粟 AgendaAgenda • 淘宝广告业务介绍淘宝广告业务介绍 • 淘宝直通车架构介绍淘宝直通车架构介绍 • Java在淘宝广告系统应用情况 • QA 淘宝广告产品淘宝广告产品 直通直通 展示展示 车车 广告广告 淘客淘客 广告系统的演进广告系统的演进 条幅条幅条幅条幅 搜索搜索搜索搜索 定向定向定向定向 广告广告广告广告 广告广告广告广告 广告广告广告广告 广告系统需要的技术广告系统需要的技术 •• 高性能高性能WebWeb服务器服务器 • 关系数据库，内存KV数据库, NoSQL (BigTable)  • 搜索索引擎擎 • 排序算法排序算法 （（RankingRanking）） • 实时计算(防作弊，实时结算） • 海量日志收集和处理海量日志收集和处理 （（MMapRRedduce, 报表和结报表和结 算） • RPC，消息中间件 • 客户端技术客户端技术：：浏览器浏览器，，JavascriptJavascript 淘宝直通车介绍淘宝直通车介绍 应用一应用一:: 直通车业务系统直通车业务系统 • 系统介绍系统介绍： – 面向几十万广告主 – 管理推广宝贝，推广计划，关键词，报表等功 能 – 大客户数据量比较多 • 一个宝贝允许设置最多200个关键词推广， • 大客户同时推广几千个宝贝 • 亿级的宝贝‐关键词记录 • 每天产生几十G报表数据； – 对外提供更新和查询API 应用一应用一:: 直通车业务系统直通车业务系统 • 多个子系统都采用Java实现 – 直通车广告主系统 – 后台CRM系统，审核系统 – 数据同步系统数据同步系统 – 操作日志系统 – 消息通知系统 – 报表系统 • 开源Java框架和工具 – SpringSpring, StrutsStruts 22, iBatisiBatis, JSPJSP, LuceneLucene, MavenMaven …  • RPC框架：淘宝HSF • 数据存储数据存储：： – 目前使用Oracle数据库存储，计划迁移到Mysql – 用户信息集中在一台主库，用户宝贝，关键词等数据分区到 三台分库三台分库 应用二应用二：消息通知引擎消息通知引擎 • 从数据库同步更新信息到广告引擎从数据库同步更新信息到广告引擎 – 每天消息量为千万级，高峰每秒2000条 • 特点特点：： – 可靠性 – 同同一用户的消息投递需要严格保证时序用户的消息投递需要严格保证时序 （（是否可重发是否可重发？）） – 批量消息支持 – 事务支持 • 消息队列存储选择 – Mysql – Redis – HBase App Srv App Srv HSF调用发送消息 HSF Srv HSF Srv Message Producer 按 用户custid分区到不同Queue 推 送Redis Master 地址 q q q q q u u u u u Config Srv