Clickhouse分布式集群的负载均衡chproxy的配置和使用.pdfVIP

Clickhouse分布式集群的负载均衡chproxy的配置和使⽤ ⼤三实习过程中，在考虑⼤数据服务器集群 构的时候，基本每个分布式软件我都搭建了代理来做负载均衡。 Clickhouse 分布式集群的负载均衡，⽤代理实现 ： 实现⽅式： 1、使⽤ nginx 代理实现负载均衡 ： 编辑 ngnix 的配置⽂件 ： upstream ck{ # clickhouse 集群地址，端⼝默认为8123 ，若clickhouse的配置⽂件修改，则这⾥写成相应的就⾏ # weight 是权重 server 02 8123 weight=1 max_fails=3 fail_timeout=60s; server 03 8123 weight=1 max_fails=3 fail_timeout=60s; server 04 8123 weight=1 max_fails=3 fail_timeout=60s; } server { listen 18123 ; proxy_ pass ck; } 2、导⼊第三⽅ j ar 包实现负载均衡 （这个是在程序员编程的时候实现负载均衡） 如 ：flink - 负载均衡写⼊ j ar 包 dependency groupIdru.ivi.opensource/groupId artifact Idflink-clickhouse-sink/artifact Id version1.0.0/version /dependency 3、使⽤ clickhouse ⾃⼰的策略 clickhouse 好像 ⾃带⼀个默认的 rand 策略，就是随机往分⽚中读写数据，然后配置⽂件中有个设置分⽚权重的 Tag。 4、chproxy —— 专门为 clickhouse ⽽⽣的负载均衡中间件 （我最终选择 chproxy 作为 clickhouse 集群的负载均衡代理） chproxy chproxy 是⽤ golang 语⾔开发的⼀个 clickhouse 的专属代理，可以实现负载均衡等很多功能。 （golang ⽜逼...?） 配置，在下载 chproxy 的⽬录⾥⾃⼰创建配置⽂件 我的位置 /opt/module/chproxy/config.yml mkdir config.yml 编辑配置⽂件 ⼀个很全的配置⽂件介绍 ： server http # 监听端⼝ listen_addr 19000 # 应该是只有⼦⽹内部的部分服务器对于clickhouse有读写请求 allowed_ networks [/24] # chproxy⽤户，这个可以隐藏clickhouse的真·⽤户 users - name distributed-write to_cluster distributed-write to_ user default - name replica-write to_cluster replica-write to_ user default # 所以这⾥建议读写分离 —— 读分布表，设置专门的分布表集群distributed-read和分布表⽤户readonly - name distributed-read to_cluster distributed-read to_ user readonly max_concurrent_queries 6 max_execution_time 1m clusters # 写本地表 （推荐） - name replica-write replicas - name replica1 nodes [clickhouse-node-07 8123, clickhouse-node-10 8123,