ClickHouse数据库规范文档.docxVIP

ClickHouse概述 概述 ClickHouse是一款开源列式存储分析型数据库，主要用于数据分析（OLAP）领域，核心特点有数据高效压缩、实时数据更新、支持近似预估计算、SQL支持、查询性能等。 数据库引擎 Atomic引擎 提供特有可配置的table engines和SQL方言。 MySQL引擎 MySQL引擎用于将远程的MySQL服务器中的表映射到ClickHouse中，并允许您对表进行INSERT和SELECT查询，以方便您在ClickHouse与MySQL之间进行数据交换，MySQL数据库引擎会将对其的查询转换为MySQL语法并发送到MySQL服务器中，因此您可以执行诸如SHOW TABLES或SHOW CREATE TABLE之类的操作。 CREATE DATABASE [IF NOT EXISTS] db_name [ON CLUSTER cluster] ENGINE = MySQL(host:port, [database | database], user, password) PostgreSQL引擎 允许连接到远程PostgreSQL服务。支持读写操作(SELECT和INSERT查询)，以在ClickHouse和PostgreSQL之间交换数据。在SHOW TABLES和DESCRIBE TABLE查询的帮助下，从远程PostgreSQL实时访问表列表和表结构。支持表结构修改(ALTER TABLE ... ADD|DROP COLUMN)。如果use_table_cache参数(参见下面的引擎参数)设置为1，则会缓存表结构，不会检查是否被修改，但可以用DETACH和ATTACH查询进行更新。 CREATE DATABASE test_database ENGINE = PostgreSQL(host:port, database, user, password[, `use_table_cache`]); Lazy引擎 在最后一次访问之后，只在RAM中保存expiration_time_in_seconds秒。只能用于*Log表。它是为存储许多小的*Log表而优化的，对于这些表，访问之间有很长的时间间隔。 CREATE DATABASE testlazy ENGINE = Lazy(expiration_time_in_seconds); SQLite引擎 允许连接到SQLite数据库并执行INSERT和SELECT查询以在 ClickHouse 和 SQLite 之间交换数据。 CREATE DATABASE sqlite_database ENGINE = SQLite(db_path) db_path — SQLite 数据库文件的路径。 表引擎 表引擎在ClickHouse中的作用十分关键，直接决定了数据如何存储和读取、是否支持并发读写、是否支持index、支持的query种类、是否支持主备复制等。 ClickHouse提供了大约28种表引擎，各有各的用途，比如有Log系列用来做小表数据分析，MergeTree系列用来做大数据量分析，而Integration系列则多用于外表数据集成。再考虑复制表Replicated系列，分布式表Distributed等 Log系列 Log系列表引擎功能相对简单，主要用于快速写入小表（1百万行左右的表），然后全部读出的场景。 几种Log表引擎的共性是： 数据被顺序append写到磁盘上； 不支持delete、update； 不支持index； 不支持原子性写； insert会阻塞select操作。 它们彼此之间的区别是： TinyLog：不支持并发读取数据文件，查询性能较差；格式简单，适合用来暂存中间数据； StripLog：支持并发读取数据文件，查询性能比TinyLog好；将所有列存储在同一个大文件中，减少了文件个数； Log：支持并发读取数据文件，查询性能比TinyLog好；每个列会单独存储在一个独立文件中。 Integration系列 该系统表引擎主要用于将外部数据导入到ClickHouse中，或者在ClickHouse中直接操作外部数据源。 Kafka：将Kafka Topic中的数据直接导入到ClickHouse； MySQL：将Mysql作为存储引擎，直接在ClickHouse中对MySQL表进行select等操作； JDBC/ODBC：通过指定jdbc、odbc连接串读取数据源； HDFS：直接读取HDFS上的特定格式的数据文件； Special系列 Special系列的表引擎，大多是为了特定场景而定制的。这里也挑选几个简单介绍，不做详述。 Memory：将数据存储在内存中，重启后会导致数据丢失。查询性能极好，适合于对于数据持久性没有要求的1亿一