原创力文档- 1、原创力文档（book118）网站文档一经付费（服务费），不意味着购买了该文档的版权，仅供个人/单位学习、研究之用，不得用于商业用途，未经授权，严禁复制、发行、汇编、翻译或者网络传播等，侵权必究。。
- 2、本站所有内容均由合作方或网友上传，本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺！文档内容仅供研究参考，付费前请自行鉴别。如您付费，意味着您自己接受本站规则且自行承担风险，本站不退款、不进行额外附加服务；查看《如何避免下载的几个坑》。如果您已付费下载过本站文档，您可以点击 这里二次下载。
- 3、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等，请点击“版权申诉”（推荐），也可以打举报电话：400-050-0827(电话支持时间：9:00-18:30)。
eBayMarketingFeeds在十亿数据场景下的架构演变和NewSQL的实践尝试NewSQL技术架构实践
eBayMarketingFeeds在十亿数据场景下的架构演变和NewSQL的实践尝试
AgendaFeeds广告流业务系统架构演变NewSQL实践尝试联合数据访问
Feeds广告流eBay广告合作商
数据量数据传输方法API文件十亿级百万级
巨大的数据吞吐量核心字段的低延时要求数据准确性与一致性多样化的对外接口业务场景
eBay广告合作商第一代系统架构eBay数据仓库
第一代系统架构高延迟维护成本高难以扩展兼容性差
流处理层服务层eBay广告合作商第二代系统架构eBay数据平台批数据流数据通用数据处理单元Google数据处理Bing数据处理Facebook数据处理批处理层…流数据处理单元缓存适配器数据融合Google发送器Bing发送器Facebook发送器发送层…
优点批流统一高吞吐低延时第二代系统架构缺点逻辑分散结构复杂数据冗余
流式处理Spark批数据批量处理导出发送／返回GoogleFlume更新20190902000000KV查询
批流数据融合处理唯一可信数据源多维度数据查询批数据处理流数据处理KV查询2ndGenNewSQL实践尝试
相似商品太多展示最佳商品基于产品的广告推送
主键过滤条件二级索引最佳商品每天12亿更新事件10,000~80,000QPS6节点十亿数据量级20+数据管道
在线查询离线查询QPSP80P99峰值60,00060ms500ms平时10,00025ms65ms读取数据量Spark5min4亿行
二级索引查询数据聚合分析流数据复杂计算增量数据管理向量相似度查询批数据处理流数据处理KV查询2ndGenNextGen新一代架构演进
联合查询引擎…定制查询语言SELECT item_id,priceFROM itemWHERE item_idSIMILARTO1111AND price5联合数据访问服务向量相似度在线属性离线属性
eBay核心数据…快照变更数据捕获（CDC）ETL校验数据一致性
联合数据访问服务商品数据成效度量统计分析用户分组用户行为广告追踪离线数据源在线数据源数据处理元数据管理监控预警应用服务机器学习数据分析UI展示模型数据eBay核心数据第三方数据数据加载附录联合数据访问服务架构
谢谢大家！ThankYou！
文档评论（0）