云后端之文件服务架构分享-Bmob何少岳+.pptx选编.pptx

云后端之文件服务架构分享;自我介绍;Bmob文件服务的演变;支持移动、联通、电信等网络； 支持跨机房部署； 支持文件分片上传、下载和断点续传、下载； 支持多文件并发上传服务； 支持并发控制和自定义带宽服务； 支持文件的扩展服务支持，如缩略图、视频流等； 有良好的安全控制权限。 ;上传： ParallelUpload(filename[], listener) 并行上传 SerialUpload(filename[], listener) 串行上传 下载： ParallerDownload(filename[], listener) 并行下载 SerialDownload(filename[], listener) 串行下载 其他： - DelFile(filename[], listener) 删除文件 ScaleImage(filename,ruleID, listener) 根据规则生成缩略图 SetUrl(url) 设置个性化域名;Bmob文件服务架构示意图;分布式 JobServer、AccessServer可以部署在不同的IDC。 可靠 采用私有协议（Bmob File Protocol ），接入加密，安全可靠。 轻量 Server节点沟通采用多种轻量协议保证Server可用，如ping；业务交流为自定义协议。 ;支持跨机房部署； 基于epoll机制的server； 无单点问题，AccessServer、JobServer 均支持多点； 支持线性扩展。;上传下载文件流程图;Server层结构;BFP的文件处理;Access Job之间的通讯 ;文件管理模块（增删改查、文件分组等）； 用户角色控制（控制QPS、独立流量、服务器等）； 统计报表模块（流量、请求等）； ;Bmob文件服务架构——SDK;使用方便 一个方法传递文件路径和监听（start、 pause 、cancel、progress、error、success）即可； 可靠 BFP协议确保上传、下载成功，如：断点续传，断点、多点下载等； 传输 BFP根据不同文件类型，如图片、流媒体，采用最优压缩算法，传输量少。 ;针对移动、联通、电信等网络;网络选择;支持跨机房部署，JobServer与AccessServer 可以在不同的机房； JobServer都在同一机房， AccessServer通过服务内的Job Despatch组件调配JobServer 给SDK端使用； 多个JobServer跨机房； 多个机房之间的数据通过Access Cross 组件同步。 ;JobServer多机房; A机房editlog记录哪些文件需同步，后调度处理这些文件同步，并记录状态。;支持分片 1、上传分片时，上传请求协商片大小，以片大小传输文件； 2、下载分片时，下载请求协商片大小，以片大小下载文件； 支持续传 1、上传异常时，下次请求上传以断点时片序继续上传； 2、下载异常时，下次下载以断点时片序继续下载。;分片和续传架构;SDK提供异步的上传方法，并且提供监听上传进度的接口，可以同时上传多个文件。多个文件的上传的处理是互不影响的。SDK网络框架将每个文件上传都封装成一个单独的请求对象，并放入发送队列任务中。子线程收到触发事件后，处理相关发送任务，发送数据到服务器。服务器依据请求进行相应的处理。;并发控制 AccessServer接受客户端的接入请求时，得到所需的连接信息。当客户端接入或断开JobServer时，JobServer服务report此信息，AccessServer依据Connection Helper控制相关的并发信息。 带宽控制 AccessServer接受客户端的接入请求时，得到所需的连接信息。当客户端接入或断开Job服务时，Job服务report此信息，AccessServer依据Report信息及连接信息，依据规则将计算结果反馈给JobServer。JobServer根据结果控制当前的发送频次以达到控制带宽的目的。 ;开发细节;全局文件扩展，上传完自动提交扩展任务（如生成水印、缩略图等）； SDK本地扩展，本地根据规则生成所需文件； 局部文件扩展，对外任务接口，客户端直接请求添加扩展任务。 ;扩展服务框架;私有协议，传输加密，防止篡改； App版本区分； 使用应用签名，验证来源合法性； 白名单、黑名单（主要是IP）。 ; ;典型案例; 流媒体文件的支持，如点播； 文件修改后的增量同步；