客户之声-空格App亿元A轮融资背后：云上多场景技术架构实践与经验.docxVIP

空格App亿元A轮融资背后：云上多场景技术架构实践与经验关于分享者：刘博，原阿里妈妈搜索营销引擎技术架构师，现为空格APP（杭州美哒网络）技术合伙人，空格核心系统技术部负责人，负责搜索、推荐、数据平台、IM等基础业务。上线仅仅60天就获得1亿A轮融资，同时依靠阿里云只用了两个礼拜就实现了APP上线，平台服务人次超过10万，还得到了中央电视台《焦点访谈》的关注，空格APP是如何做到的？本文从空格APP初始创业阶段谈起，技术合伙人刘博分享了空格利用阿里云服务在搜索、推荐和数据挖掘业务场景下的探索实践。阿里云在空格?图一?空格服务端整体架构?在空格初始创业阶段，人员十分缺乏，但依靠着阿里云，空格两周便实现APP上线。空格服务端整体架构包括在线和离线两大部分。在线服务端的前端包括用户服务端集群、商家服务端集群和IM?PUSH集群；在线服务端的后端由搜索/推荐引擎集群组成；架构底层的存储采用传统的MySQL数据库。离线服务端由日志搜集系统、离线计算平台、实时流计算平台、监控系统以及数据BI中心组成。图二?阿里云产品使用范围?空格整体架构上广泛采用了阿里云产品。在网络层采用了阿里云云盾和负载均衡，利用云盾有效拦截了DDoS等网络攻击，采用负载均衡进行流量智能分配。服务器集群由ECS服务器搭建而成。数据库方面最开始使用的是单机版的RDS，随着数据量的增长，需要进行扩容，通过采用DRDS进行分库分表，很简单地解决了数据库扩展问题。同时采用CDN来存储图片和静态的网页，起到网络加速的效果。在搜索方面采用OpenSearch，快速地搭建搜索引擎，避免了流量激增的情况下运维成本大幅度增加情况，仅需在索引配置上对相应参数进行调高或者调低便可实现扩容。服务端离线部分采用阿里云日志服务，实现在线日志实时收集并同步到离线计算平台，打通了离线到在线再回流到在线的过程。离线计算平台主要采用ODPS，可满足大规模的计算需求。其监控系统采用阿里云云监控产品，对服务器、数据库的关键指标实时监控报警。数据BI中心底层框架搭建采用的是DPC/DTS数据同步服务。搜索场景图三?搜索业务框架?上图是空格的搜索业务架构。最上层是对搜索有需求的服务端，包括用户服务端、商家服务端、CRM管理系统以及IM/PUSH服务端在内；应用层（业务层）是该业务架构的关键，业务存储方式分为分布式缓存和分布式表格存储；应用场景层包括关键词搜索场景、类目搜索场景、IM消息搜索场景等二十多个搜索场景；底层采用阿里云的开放搜索OpenSearch为支撑，同时OpenSearch无缝衔接云数据库RDS与ODPS，做到数据互通。图四?两种技术方案比较?阿里云技术方案与普通工程技术方案相比，业务层仍保持一致，但在SearchNode节点上有很大的不同，如果是自建节点，不仅需要考虑到分布式架构和业务间的隔离，还需要考虑离线的大文件与搜索引擎的衔接，同时还需要企业自行开发全量Dump和Build流程，以及建立起索引全量的实时调度，这一切将直接导致运营成本和技术复杂度的增加。更为关键一点，服务索引的在线实时需要更新做到秒级以内，自建搜索引擎实现难度系数很大。但如果采用云技术方案，一切变得很简单。阿里云的OpenSearch将服务器的扩容、全量更新、实时更新、切换调度全部屏蔽掉了，使用者只需简单的配置即可建立新的索引，底层采用RDS和ODPS可实现内部之间数据互通，做到无缝链接。图五?阿里云OpenSearch服务优势?搜索方面采用阿里云OpenSearch服务，是因为其优势很多。在线方面：具有简单的API接入方式，通过HTTP+Json的服务接口与在线服务对接；内部支持复杂语法和排序规则；同时还有丰富的辅助功能，如查询分析（同义词，停用词，模糊匹配）、下拉提示等。离线方面优势体现在：通过简单配置即可创建索引，无需写代码；字段增删，修改操纵简单；并且与RDS、ODPS无缝衔接，自动管理DUMP数据；可灵活配置索引构建任务。实时更新方面：RDS、ODPS数据源支持实时索引更新，无需构建实时更新系统。运维方面：无需自建分布式集群；无需管理数据备份及冗余；无需考虑扩容。?推荐场景?图六?推荐场景特点目前空格推荐业务场景具有以下要求：千人千面，根据用户信息和历史行为进行个性化推荐；大数据，可进行离线和实时计算，并且数据量远超传统的数据库可处理范畴；分布式，可实现分布式服务、分布式计算；弹性扩展，能快速扩容服务能力，应对业务发展；迭代迅速，业务迭代速度极快，两周左右更新一个版本。图七?推荐服务整体架构?针对上述需求，空格结合阿里云服务构建了如上图所示的整体推荐服务架构。数据集成方面，采用阿里云日志服务、采云间和数据传输，将数据传输到离线的ODPS；结合ODPS对数据进行大规模预处理和加工，之后通过自建模型训练进行机器学习，将