ByConity（王蕴博）：ByConity的架构与设计：从ClickHouse到云原生.docxVIP

ByConity的架构与设计：从ClickHouse到云原生

演讲人：王蕴博

王蕴博

字节跳动首席开源布道师、开源基础设施负责人。中国计算机学会(CCF)开源发展委员会副秘书长，CCFGitLink社区负责人，CCFGLCC发起人兼组委会主席。前腾讯开源联盟委员（TOSA），前滴滴开源办公室负责人。

长期专注于大数据、DevOps、AI等方向；对开源治理、项目孵化、开源合规等具有丰富的经验。

目录

CONTENTS

背景和设计理念存算分离架构设计用户案例分享社区和未来规划

ByConity历史

发布0.2.0版开源一周年5

发布0.2.0版

开源一周年5月19日北京

2024.5

支持数据湖、ELT、

RBAC、提升冷读优化

2023.12

2023.12

2024.4ByConity开源

2024.4

ByConity开源0.1.0-GA

2023.9

ByConity

ByConity启动开源

CNCHByteHouse云数仓版2023.5发布

CNCH

ByteHouse云数仓版

2023.5

发布0.3.0版本

倒排索引、ELT能力增强、共享存储的选主方式、冷热性能提升

大规模使用

大规模使用ClickHouse

2022.52020.1新版本发布

2022.5

2020.1

新版本发布

2018

ByConity设计之初

开源●

开源

●开源让软件更早接触用户，了解用户真实需求；

●吸引外部开发者参与，汇聚领域人才参与，传播影响力；

●更加高效的迭代，软件更佳安全和健康

●开源OpenCore模式促进商业化，拓展海外市场

云原生●重用云基础设施，

云原生

●重用云基础设施，高可靠性和降低成本；

●整个系统和架构设计从开始就基于云的需求；

●存算分离避免了传统分布式系统的一些性能瓶颈和复杂性

开源从“命名”开始

Byte—一ByConityCommunity

Convert

ByConity是通过开源，融合一群希望打破常规技术的开发者，改变数据的使用方式

基于云原生架构

●服务层（CloudService）

●MetaDate：FoundationDB/ByteKV

●Server：表元数据缓存、查询SQL解析、计划生成、调度和下发

●ResourceManager：服务发现、负载心跳检测

●TSO：全局唯?单调递增的时间戳

●DaemonManager：调度和管理任务

●计算组（VirtualWarehouse，VW）

●Worker：执行片段的执?，后台任务的执?、LocalDiskCache

●每个表可以设置默认的ReadVW（查询）和WriteVW（导入和Merge)

●存储层（CloudStorage)

●支持HDFS、S3

ByConity

ByConity的特性

读写分离

资源隔离

数据强一致性弹性扩缩容

数据强一致性

弹性扩缩容

高性能

高性能

存算分离的设计思考

●需要统一的元信息管理系统

●分布式文件系统大多数存在元信息管理压力问题（nn）

●分布式统一存储系统大多不支持rewrite，一些对象存储系统甚至不支持append

●分布式对象存储系统大多move代价都比较高

●iolatency通常情况对比本地文件系统下都存在增加的情况

统一的元数据管理

●提供高可用和高性能的元数据读写服务

●完备事务语义的支持

●后端存储系统可插拔，方便扩展

●高效的Part缓存管理

●一致性hash

数据存储结构

●合并小文件，每个part所有数据存储在一个文件中

●保持按列存储特性

数据变更

●文件生成后不再变动

●deltapart+basepart●partchain（merge-on-write）

●读放大

数据合并

●异步merge

●Oldparts通过GC清理

数据缓存

●一致性hash分配parts

●热数据worker节点自动缓存

●改进bucket-lru算法

●避免数据reshuffling

唯一键（UNIQUEKEY）

实际场景

●数据源(如Kafka)包含重复数据，如何保障数仓表的数据质量?

●业务数据流包含行更新，如何高效实时同步和分析?

●如何提高RDBMS-数仓的同步时效性，并支持高效