张凯-浅谈超融合架构核心技术.pptx

浅谈超融合架构核心技术AgendaIT 基础设施发展过程超融合架构的核心技术自我介绍毕业于清华大学计算机系高性能计算所2013 年和徐文豪，王弘毅，共同创办 SmartX，任 CTO 职位带领团队完成超融合产品从 0 到 1 的设计和研发SmartX 超融合软件已在数千台服务器上稳定运行IT 基础设施发展历程虚拟化已成 IT 基础设施“标配”, 存储成为瓶颈虚拟化云平台业务发展趋势传统企业物联网转型传统企业互联网+企业需要：更 敏捷易 扩展更 经济IT 基础架构虚拟化、容器技术等普及业务数据指数级增长多套系统运维管理复杂存储网络扩展困难、难调配传统架构存储控制器存储控制器I/O性能瓶颈无法发挥SSD特性磁盘列阵专有设备、成本高集中式共享存储超融合架构--超融合架构的核心技术定位于 核心业务，核心系统节省硬件资源可扩展性可靠性生态系统超融合架构--硬件趋势CPU多核SSD存储密度增大单位价格降低NVMe 普及网络200 Gb 以太网超融合架构--计算资源使用效率用户态内核态超融合架构--SmartX 如何节省硬件资源用户态内核态超融合架构--SmartX 如何节省硬件资源协程轻量级“线程”切换只需要 10ns 开销简化异步程序，用顺序的方式写异步程序优化内存管理超融合架构--SmartX 如何节省硬件资源用户态直接管理块设备避免文件系统开销特殊的缓存系统，利用内存和 SSD 对 HDD 进行加速通过日志系统，保证数据写入原子性对于顺序 IO，绕过 SSD，直接写入 HDD超融合架构--SmartX 如何节省硬件资源本地化 IO 操作，避免网络 IOVMVM…VMVMVMVM……HypervisorHypervisorHypervisorZBSZBSZBS…HDD SSD…HDD SSDHDD SSDX86 服务器X86 服务器X86 服务器超融合架构--横向扩展性横向扩展 vs 纵向扩展超融合天然横向扩展降低对硬件设备需求单业务对存储性能要求不高超融合架构--SmartX 如何实现横向扩展无状态多控制器任何一个节点都可以提供数据访问服务VMVM…VMVMVMVM……HypervisorHypervisorHypervisorZBSZBSZBS…HDD SSD…HDD SSDHDD SSDX86 服务器X86 服务器X86 服务器超融合架构--SmartX 如何实现横向扩展无状态多控制器当遇到服务异常，或网络异常，可以通过其他节点的访问存储服务VMVM…VMVMVMVM……HypervisorHypervisorHypervisorZBSZBSZBS…HDD SSD…HDD SSDHDD SSDX86 服务器X86 服务器X86 服务器超融合架构--SmartX 如何实现横向扩展无状态多控制器服务恢复正常，恢复正常访问VMVM…VMVMVMVM……HypervisorHypervisorHypervisorZBSZBSZBS…HDD SSD…HDD SSDHDD SSDX86 服务器X86 服务器X86 服务器超融合架构--SmartX 如何实现横向扩展SmartX 使用集中式元数据管理方式通过 log replication 保证元数据可靠一致性哈希的问题无法精确控数据位置添加删除节点复杂超融合架构--可靠性Copy 1Copy 2Copy 3123XY4副本技术 vs EC副本的写入性能更好数据恢复代价更小存储密度不断提高成本不断降低超融合架构--可靠性机架感知超融合架构--可靠性快照预防软件故障，人为误操作checksum 校验预防磁盘硬件 silence corruption容灾备份预防站点故障超融合架构--生态系统x86 硬件服务器兼容主流硬件厂商服务器超融合架构--生态系统兼容主流云平台欢迎大家加入 SmartX谢谢！超融合架构--SmartX 如何实现横向扩展无状态多控制器当遇到服务异常，或网络异常，可以通过其他节点的访问存储服务VMVM…VMVMVMVM……HypervisorHypervisorHypervisor192.168.33.1192.168.33.1192.168.33.1192.168.33.2192.168.33.2192.168.33.2SCVMSCVMSCVM10.0.0.110.0.0.210.0.0.3…HDD SSD…HDD SSDHDD SSDX86 服务器X86 服务器X86 服务器1. 为什么存储是核心技术