系统架构设计工作方案.docVIP

技术架构 技术架构总览 业务框架 技术方案 运营监控 治理 安全防范 接入层 接口层 服务层 数据层 技术方案 前台技术架构 根据用户设备及浏览器尺寸路由 PC PAD Mobile 其它智能设备 页面自适应、最小宽度 页面自适应 页面自适应 element-ui + vuejs + Echarts vuejs + muijs vuejs + muijs 金豆云CMS 配置 编译 发布 自 自 系统构建：Webpack , Gulp 基础组件库 定 定 义 义 JS CSS Resource Html5 组 样 件 式 *.js，*.vue *.sass，*.css Font，Img Font，Img 基础样式库 技术方案 微服务架构 结合现实情况，平台服务计划分二个阶段完成，先完成服务化，后续在服务化的基础上重构成微服务 服务监控 基础服务框架 spring boot 业务代码 业务代码 业务代码 分布式RPC服务框架 dubbo 服务注册中心 业务代码 业务代码 业务代码 zookeeper 服务发布容器 docker 业务代码 业务代码 业务代码 持续集成工具 服务治理 jenkins 技术方案 动静分离 - CDN 静态资源访问加速 静态资源文件（html，css，js，img等） 静态数据返回业务静态图片 用户 ＣＤＮ 用户动态 动态数据 用户静态 请求数据 结果返回 数据请求 回源请求 抓取数据 静态脚本 附件 Web程序 数据库 内网访问， 图片 视频\音频 数据更新维护 ECS（服务器） OSS（云存储服务） 智能压缩 对静态资源进行压缩，减少传输大小，加速分发效果 可视化监控 可通过视化监控管理，查看监控日志和统计分析制定合适的缓存策略，并可通过从源站刷新缓存等手段主动维护高访问资源的缓存 技术方案 负载均衡 + 弹性扩展 流量调度 多台云服务器自动进行流量分发，获得更高水平的容错性能 扩展性 支持云服务器动态扩展，实现无缝伸缩，伸缩过程不用更换任何设备，对相关调用和访问者零影响 安全 四层DDoS攻击防护，支持应用防火墙和CC防护，提供防护统计页面，实时抵御网络攻击 云服务器ECS 负载均衡 云服务器ECS 负载均衡 云服务器ECS 云服务器ECS 负载均衡 云服务器ECS 云服务器ECS 技术方案 消息系统 消息队列采用阿里云MQ 消息发送/发布方 消息接收/订阅方 TCP UDP HTTP SOAP … 消息接收器 消息发送器 流入路由器 流出路由器 拦截器 消息 内部服务 拦截器 转换器 组件调用 组件容器 技术方案 推荐引擎 基于阿里云的RecEng（推荐引擎）和MaxCompute（大数据计算服务）搭建金豆云推荐引擎，实现千人千面 基本推荐流程 客户接入数据 特征提取 计算用户/ 物品评分 用户/物品 用户/物品 的原始特征 评分矩阵 用户/物品 关系计算 相关性计算+邻近计算 推荐建模流程 客户效果数 推荐请求 API 据 OTS物品实 模型样本 时修正表 推荐处理线 OTS离线计 程 算结果表 基于业务目标 OTS用户实 的监督学习 时修正表 离线计算在线计算 技术方案 用户认证 SSO + OAuth2 内部系统 内部系统采单点登陆方式进行管理 … 外部系统 外部系统连接主要分为2种方式： 通过ROP平台实现数据交互 金豆云提供OAuth2认证机制给第三方，实现页面与数据的交互 Request User Url Request Access Url Request Info Url 通过token、openId及API 技术方案 分析平台 JSON Echarts | CuBI REST API 报表 Spring，SpringMVC，JMS，Sqoop 事件监听 定时任务 数据导入 Spark API接口 数据分析 数据融合 MQ消息队列 HBase Hadoop HDFS 分析平台基于业务数据进行数据映射与融合 整体架构基于大数据分析框架设计，并通过模块化设计进行内部解耦，将数据收集，导入及分析功能围绕分析模型系统处理 业务数据收集工作通过异步消息及定时导入方式实现 底层技术实现 前端主要提供REST API供产品平台进行数据获取。同时采用Echarts或CuBI进行报表展现 中台服务逻辑层使用Spring，SpringMVC作为应用构建及对外接口发布，配合MQ队列机制处理异步消息。Spark作为核心数据处理引擎，进行MapReduce处理 持久层主要采用HBase进行大数据存储，同时使用 Hadoop HDFS支持分布式存储 技术方案 数据库 设计原则 统一数据视图 保证数据的及时性、一致 性、准确性、完整性 数据应用分离 应用系统只依赖逻辑数据库 应