系统架构设计.docVIP

技 技术架构总览 业务框架 技术方案 运营监控 治理 安全防范 接入层 服务层 数据层  技术方案 前台技术架构 根据用户设备及浏览器尺寸路由 PC 页面自适应、最小宽度 eleme nt-ui + vuejs + Echarts 金豆云CMS 配置 编译 发布微服务架构 结合现实情况，平台服务计划分二个阶段完成，先完成服务化，后续在服务化的基础上重构成微服务 业务代码 业务代码 业务代码 业务代码 业务代码 业务代码 业务代码 业务代码 业务代码 服务治理 基础服务框架 服务监控 spring boot 分布式RPC服务框架 dubbo 服务注册中心 zookeeper 服务发布容器 docker 持续集成工具 jenkins 技术方案 动静分离-CDN 静态数据返回 用户动态 请求数据 用户 动态数据 结果返回 用户静态数据请求 内网访问， 数据更新维护 ECS（服务器） CDN 静态脚本 附件 图片 视频音频 OSS（云存储服务） 回源请求 抓取数据 静态资源访问加速 静态资源文件（html，css，js，img等） 业务静态图片 智能压缩 对静态资源进行压缩，减少传输大小， 加速分发效果 可视化监控 可通过视化监控管理，查看监控日志和 统计分析制定合适的缓存策略，并可通 过从源站刷新缓存等手段主动维护高访 问 资 源 的 缓 存  负载均衡+弹性扩 展 流量调度 多台云服务器自动进行流量分发，获得更 高水平的容错性能 ■扩展性 支持云服务器动态扩展，实现无缝伸 缩，伸缩过程不用更换任何设备，对相 关调用和访问者零影响 ■安全 四层DDoS攻击防护，支持应用防火墙 和CC防护，提供防护统计页面，实时 抵御网络攻击 负载均衡 负载均衡 负载均衡 云服务器ECS 云服务器ECS 云服务器ECS 云服务器ECS 云服务器ECS 云服务器ECS  消息系统 消息队列采用阿里云 MQ 消息发送/发布方 TCP UDP HTTP SOAP- 消息接收器 流入路由器 消息 拦截器 消息接收/订阅方 消息发送器 流出路由器 转换器 内部服务 拦截器 组件调用 组件容器 推荐引擎 基于阿里云的RecEng （推荐引擎）和MaxCompute（大数据计算服务）搭建金豆云推荐引擎，实现千人千面 基本推荐流程 客户接入数据 相关性计 算+邻近计 算 特征提取 计算用户/ 物品评分 用户/物品 用户/物品 推荐建模流程 的原始特征 评分矩阵 客户效果数 据 用户/物品 关系计算 模型样本 离线计算  推荐处理线 程 基于业务目标 OTS用户实 的监督学习 推时修正表 API OTS物品实 时修正表 在线计算用户认证 SSO + 0Auth2 内部系统 R fo Url 内部系统采单点登陆方式进行管理 e q u 通过 token、 e s ... t A c c e s s 外部系统 外部系统连接主要分为2种方 式： 1. 通过ROP平台实现数据交互 2. 金豆云提供 OAuth2认证机制 给第三方，实现页面与数据的 Reques t User Url 分析平台 ?分析平台基于业务数据进行数据映射与融合 ?整体架构基于大数据分析框架设计，并通过模块化 设计进行内部解耦，将数据收集，导入及分析功能 围绕分析模型系统处理 ?业务数据收集工作通过异步消息及定时导入方式实现 ?底层技术实现 Spark API 接口 数据分析 数据融合 ?前端主要提供 REST API供产品平台进行数据获取。 同时采用Echarts或CuBI进行报表展现 ?中台服务逻辑层使用 Spring，SpringMVC作为应用构建及 对外接口发布，配合 MQ队列机制处理异步消息。Spark作 为核心数据处理引擎，进行 MapReduce处理 ?持久层主要采用HBase进行大数据存储，同时使用 Hadoop HDFS 支 持 分 布 式 存 储 Hadoop HDFS 数据库 设计原则 统一数据视图 保证数据的及时性、一致性、 Hadoop HDFS 准确性、完整性 数据应用分离 应用系统只依赖逻辑数据库 应用系统不直接访问其它宿 主的 数据库，只能通过服务 访问 数据读写分离 访问量大的数据库做读写分离 数据量大的数据库做分库分表 不同业务域数据库做分区隔离 重要数据配置备库； I ?产品平台数据库设计方案采用二级缓存机制 合理使用缓存 ? 一级缓存使用Redis副本集，对频繁访问数据进行缓存。同时围绕 Redis单线程机制，针对大量并发场景设计 了同一用户的并发锁策略。 ?二级缓存使用MongoDB副本集，对结构化数据及频繁更新数据进行文档化数据存储 ?业务数据库使用MySQI集群方案 ?分析平台基于大数据架构设计方案，数据库使用区域 HBase