top100summit技术沙龙-《有道云笔记的特色云架构》王奉坤.pptVIP

揭示研发管理白金定律，分享那些激动人心的创新与变革，使得团队获得过多源动力与更大的推动力！ 揭示研发管理白金定律，分享那些激动人心的创新与变革，使得团队获得过多源动力与更大的推动力！ 揭示研发管理白金定律，分享那些激动人心的创新与变革，使得团队获得过多源动力与更大的推动力！ 揭示研发管理白金定律，分享那些激动人心的创新与变革，使得团队获得过多源动力与更大的推动力！ 揭示研发管理白金定律，分享那些激动人心的创新与变革，使得团队获得过多源动力与更大的推动力！ 有道云笔记的特色云架构 云端技术负责人 有道云笔记 王奉坤 摘要 有道云笔记的开发历程 架构设计的成功因素 云笔记的特色设计 案例启示 有道云笔记云端架构设计与重构 有道云笔记 大数据时代的典型应用 云端存储服务 设计目标 高可靠性 高可用性 高扩展性 开发历程 开发时间：三年 用户数增长：0 ? 20,000,000 功能越来越复杂 历史版本 照片中转站 附件中心 …… 大规模架构重构：两次 架构设计的成功因素 数据与存储结构 功能需求 性能需求 服务框架 结构、层次清晰 鲁棒性、扩展性 更好的服务于数据 架构重构 改进已有的结构 为不良的设计买单 数据与存储结构：功能需求 基本数据结构：数据切块 只需要上传chunk X、Y 回收chunk C A B C D E F 文件切块 A B X Y D E F 修改后 A B C D E F A B X Y D E F 数据与存储结构：功能需求 Entry … … userA/a:4 userB/link Meta … … a_3: meta a_4: meta Chunk … … a_A: bytes a_B: bytes a_C: bytes a_D: bytes a_E: bytes a_F: bytes a_X: bytes a_Y: bytes 数据与存储结构：性能需求 数据结构/大小 访问次数 100B 1G 1K 10M 10K 1M 100K 1M 性能优化 流式存取 cache 数据与存储结构：性能需求 Cache策略 流式存取？ 数据结构大小 总大小 每天访问次数 Cache命中率 User Version 100B 2G 1G 100% Entry 100B 20G 0.5G 100% Meta 1K 400G 0.2G 83% Chunk Data 0~25M 100T 20M 0% 服务框架：整体结构 服务框架：鲁棒易用的分布式调用框架 分布式调用框架 Distribute RPC Service proxy RPC Call Switch RPC Proxy RPC Proxy RPC Proxy RPC Proxy RPC Service Impl RPC Service Impl RPCService Impl RPCService Impl Distribute Strategy RPC调用 服务框架：服务于数据 不同的设备提供不同的API支持 PC / Mobile / Web 用户数据的类事务支持 内存同步锁 用户版本号 数据修改与回收 用户任何操作都不直接删除数据 后台异步的数据回收策略 架构重构：1.0版的结构 架构重构：改进已有的结构 1.0版特点 共用存储逻辑代码 跨进程共享锁 两套API直接存取数据 缺点和问题 共享锁的逻辑非常脆弱 异步流程导致数据一致性问题 架构层次不清晰 架构重构：2.0版的结构 架构重构：为不合理的设计买单 致命伤：数据切块放到分布式数据库上 性能瓶颈会突然出现 延迟 压力 架构重构：为不合理的设计买单 文件系统直接存取数据 (1)“冷”文件dump到文件系统 (2) 文件直接存取 (3)逐步取消chunk 特色设计：数据的离线备份 Table Snapshot time WALogs t Replay by MapReduce New Table Snapshot t0 特色设计：基于MapReduce的后台数据处理框架 方便的任务定义，易于实现 强大的数据并行处理能力 特色设计：良好的可运维性 上线模拟 不停服上线 自动化测试 揭示研发管理白金定律，分享那些激动人心的创新与变革，使得团队获得过多源动力与更大的推动力！ 揭示研发管理白金定律，分享那些激动人心的创新与变革，使得团队获得过多源动力与更大的推动力！ 揭示研发管理白金定律，分享那些激动人心的创新与变革，使得团队获得过多源动力与更大的推动力！ 揭示研发管理白金定律，分享那些激动人心的创新与