ClickHouse和他的朋友们（9）MySQL实时复制与实现.docxVIP

ClickHouse和他的朋友们（9） MySQL实时复制与实现Interpreters Interpreters Interpreters Interpreters Parsers Parser An I Expression InsertQuerySei ectQuery OOLQuery 很多人看到标题还以为自己走错了夜场，其实没有。 ClickHouse可以挂载为MySQL的一个从库，先全量再增量的实时同步MySQL数据?这 个功能可以说是今年最亮眼、最刚需的功能，基于它我们可以轻松的打造一套企业级解决方 案，让OLTP和OLAP的融合从此不再头疼。 目前支持MySQL 5.6/5.7/8.0版本■兼容Delete/Update语句及大局部常用的DDL操 作。 代码已经合并到upstream master分支，预计在20.8版本作为experimental功能发布。 毕竟是两个异构生态的融合，仍然有不少的工作要做，同时也期待着社区用户的反应，以加速 迭代。 代码获取根据返回结果，可以看到是由3个part组成。 parti 由 mysql insert into tl values (1,1), (2,2) 生 成 ： 1 ?-a―?-b―?—_s i g n-?-_ve rsi on-? 2 1 1 1 1 11 11 1 3 1 2 | 2 |1 |1 | 4 11111 由 mysql delete from tl where a=l 生 成： I-a- I-a-T I 1 I sign―?-_version-? 说明： sign = -1说明处于删除状态由 update 11 set b=b+l 生 成 ： ?-a—?—b―?__s ign-?__ve rsio n-?使用final查询： clickhouse :) select a,b,_sign,_version from tl final;SELECT a， b, _signzversion FROM tlFINAL 1011b~71 10 11 b~7 1 sign-?-_version-? -1 1213 13 13?-a―?-b—?—_s ign-?—_ve rsio n-?14 13 1516 16 17 16172 16 17 18 可以看到ReplacingMergeTree已经根据.version和OrderBy对记录进行去重。 QueryMySQL master: mysql select * from 11;1 row in set (0.00 sec) ClickHouse slave: i234 i 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 FROM tlclickhouse :) select *,_sign,_version from tl; clickhouse :) select *,_sign,_version from tl; clickhouse :) select *,_sign,_version from tl;SELECT * _signz _versionFROM tl clickhouse :) select *,_sign,_version from tl; ?--a--1b--1--_s ign--1--_ve rsio n--1 TOC \o 1-5 \h \z I 1I1I-1 I2| 2|3|1 |3|I|LI」 说明：这里还有一条删除记录, _sign为-1MaterializeMySQL被定义成一种存储引擎，所以在读取的时候，会根据_sign状态进行判断， 如果是-1那么是已经删除，进行过滤。 并行回放为什么MySQL需要并行回放？ 假设MySQL master有1024个并发同时写入、更新数据，瞬间产生大量的binlog event ，MySQL slave上只有一个线程-个event接着一个event式回放，于是MySQL实现了并行回放功能！ 那么，MySQL slave回放时能否完全（或接近）模拟出master当时的1024并发行为呢? 要想并行首先要解决的就是依赖问题：我们需要master标记出哪些event可以并行，哪些 event有先后父系，因为它是第一现场。 MySQL通过在binlog里增加： last_committed，相同那么可以并行 sequece_number，较小先执行，描述先后依赖last_committed=3 last_committed=3 last_committed=3sequece_number=4--event1 last_committed=3 sequece_number