从零到百亿级，揭秘科大讯飞广告平台架构演进之路.docxVIP

从零到百亿级，揭秘科大讯飞广告平台架构演进之路 2021-06-05 广告、电商和玩耍是互联网变现的三个最次要手段，而电商中除了直接卖东西的部分，其他本质上也是广告。科大讯飞作为一家 AI 公司，拥有 90 余万开发者以及海量数据。利用本身的 AI 实力和大数据力量，科大讯飞广告业务实现了从零到百亿级的日买卖量，它的业务架构是如何演进的？期间遇到哪些问题？架构中各子系统又是如何设计的？ 在 TGO 鲲鹏会武汉分会活动现场，来自科大讯飞数字广告事业部技术担任人仉乾隆带来了《从零到百亿级日买卖量：广告实时竞价平台架构演进之路》的主题共享，来看看科大讯飞如何以技术实力赋能营销升级。 我先说一下当前的系统现状，整个系统平台是分为入口和出口，每天入口 PV 100 亿左右，竞价次数每日 300 亿左右，单次会话平均 40ms 左右，每天日志数量为 20TB+。上图是业务模型，两头是广告买卖平台。广告买卖平台核心是买卖，所以确定是有买有卖，卖的是流量，流量即媒体，广告主来买。 目前，绝大部分广告次要投广告的时候，一般是先找 DSP，然后通过我们的广告买卖平台，最终找到媒体。 广告买卖平台有两个核心服务，一是流量买卖，二是广告监测。我们在广告上一直在不停尝试 AI 相关的算法，期望把广告做的更有效果，所以我们强依靠数据服务和算法服务。 接下来再来说老架构，最开头时，我们只要几个程序员和产品，因而无论是服务，还是数据，我们都做得是最精简的。但随着业务量的增长，消灭了几个问题：一、无法满足高可用；二、无法满足高吞吐；三、无法满足高功能；四、运维成本高；五、运营效率低。 这是当前的新架构，大框架与之前没有太大的变化，还是分为三个部分：流量网关、服务集群和 DSP。流量网关具备限流力量，相当于“保险丝”爱护后面的系统，同时还具备流量统计、分流、毛病隔离等功能。 内部容器集群分为三种，测试、联调、生产集群。业务日志全部进入统计计算引擎，这些数据会协助做运营决策以及后面做一些监测，整个系统由 APM 担任监控。原来是没有防火墙的，随着业务的增长，为了确保平安，我们上线了并发性情外强的防火墙。 说一下流量网关的设计。为什么做流量网关呢？一是内部存在多个系统都需要用流量，不同的系统对接比较麻烦，对人力成本消耗比较大；二是流量对接与竞价耦合，流量接入迭代快上线动静大，因而我们做了拆分，把流量网关独立了出来。 上图是限流系统可视化的解释，首先我们要实时检测服务后端，当一个流量进来以后实时计算限流的力度，依据力度打算恳求是连续还是回退。 不管限流力度还是权重都依靠于服务的健康形态，服务健康形态由多个目标进行衡量，如服务的处理时间、网络的传输时间、节点所在机器物理资源使用量等等。建立数学模型，可以看到最终效果就是想限哪个就把它压到那个值。 反作弊系统是整个系统的核心保障，流量作弊是没法规避，但假如加了这个额外处理睬话时间确定要上去。为了要保证明时性，因而我们把反作弊流程进行了分拆，分为实时和离线两个部分，同时将处理流程尽量异步化。最终把反作弊处理耗时压缩到了 3ms 以内。通过三层过滤，现在可以做到精确?????识别 98% 以上的虚假流量。 反作弊系统核心遵照两个准绳，一个是实时和离线协同，二是机器和人工协同。AI 算法虽然厉害但是某些部分还是要靠人类才智来总结规章，我们把实时的数据通过三层过滤得到结果，同时把实时数据和历史数据进行合并来训练模型，然后加上人工分析构成一些策略在模型训练的时候加进去，最终生成一个模型，这个模型会实时反馈更新系统。 Alan Kay 说过一句话，面对对象的核心是消息传递。设计一个浩大且持续增长的系统，最应当关注的是内部子系统之间怎样交互，而不是先考虑系统具备什么属性。Actor 模型在真正意义上实现了 Alan 所讲的面对对象概念。 一次买卖过程涉及的规律格外多，刚开头做的时候是同步堵塞式的，但是随着处理环节越来越多假如还是接受同步堵塞模式耗时就太高了，所以我们模仿 CPU 超流水线重构了业务处理流程，最终效果是提升了任务并发并提高了吞吐。 目前，我们对接了国内上百家的 DSP，在巨额宽带费用以及会话时间成本、人工运营成本添加的情况下，我们实现了一个智能 QPS 调整模块。 下面说一下缓存系统的设计，最开头我们全部做的东西是依据需求来，只需满足需求，就没有做太多的优化，由于当时量不大，所以是可以满足的。 随着业务量添加，老架构强依靠 DB 限制了服务水平扩展，同时还有配置生效实时性差、增量更新无法感知物理删除以及服务 GC 压力大、简约发生毛病等问题。基于这个背景我们做了新架构，设计了新的缓存系统。 新架构不只整个缓存系统高可用，而且更易于服务的水平扩展，而且新架构更新基于 binlog 支持了物理删除。再有就是全量与