大数据实时多维分析神器-Clickhouse-美柚.pptVIP

* * * * * * * * * * * * * 大数据实时多维分析神器-Clickhouse 大数据平台部-李庆勇 章节标题 Clickhouse是什么? 1 Clickhouse优劣势 2 Clickhouse表引擎 3 目录 Clickhouse在柚先森中的应用 4 1 Clickhouse是什么? 是什么? 官网: ClickHouse是一个开源的面向列式数据的数据库管理系统， 能够使用SQL查询并且生成实时数据报告。 开源 列式 SQL 实时 要点: 2 Clickhouse优劣势 优 劣 势 优势: 劣势: 快(插入快,查询快) 表引擎多,适合不同的场景 压缩比高 支持线性扩展 功能多(函数,复杂数据结构) 不支持delete和update(新update) 非标准的SQL 没有窗口功能 文档不够完善 不支持UDF 优 劣 势 快,快,快 配置:16核64G SSD ECS 优 劣 势 快,快,快 3 Clickhouse表引擎 表引擎 它允许对存储在远程MySQL服务器上的数据执行SELECT查询。 MySQL引擎 常见的使用场景: 通过查询Clickhouse的MySQL引擎表的全量或增量数据, insert到Clickhouse的其他引擎表(如:MergeTree),然后对该表进行查询分析 注意事项: 1. where 语句中的=, !=, , =, , =?条件是直接通过MySQL来查询, 其他条件,如:like, in 条件和limit是在clickhouse里执行的 2. 如果是增量数据请注意MySQL的索引是否起作用 3. 最新版本可以往MySQL写入clickhouse的统计数据 语法: MySQL(host:port, database, table, user, password[, replace_query, on_duplicate_clause]); 表引擎 Clickhouse最先进的表引擎,支持一个日期(分区)和一组主键的两层式索引 MergeTree引擎 常见的使用场景: 存储不需要做预计算的数据,例如事实表数据,log明细数据 注意事项: 默认的时间分区是按月,可自定义分区,数据量不是特别大建议默认 主键不能包含可为null字段 语法:MergeTree(EventDate, (CounterID, EventDate), 8192) 表引擎 基于MergeTree,能处理重复数据的功能,此引擎表与MergeTree的不同之处在于它删除具有相同主键值的重复条目。 ReplacingMergeTree引擎 常见的使用场景: 在多维数据加工流程中，为“最新值”，“实时数据”场景量身打造 注意事项: 可以手动指定版本列,或不指定(按插入时间) 手动执行optimize table t 后才会触发merge行为? 语法:ReplacingMergeTree(EventDate, (OrderID, EventDate, BannerID), 8192, ver) 表引擎 基于MergeTree,能将具备可加性的指标进行相加,从而减少表的数据量。 SummingMergeTree引擎 常见的使用场景: 不需要存储明细数据,可以进行预计算的 注意事项: 可加列不能是主键中的列,可加列都为null会被删除 手动执行optimize table t 后才会触发merge行为? 语法:SummingMergeTree(EventDate, (OrderID, EventDate, BannerID), 8192, (Shows, Clicks, Cost)) 表引擎 是在?MergeTree?基础之上，针对聚合函数结果，作增量计算优化的一个设计 AggregatingMergeTree引擎 常见的使用场景: 对多维数据进行降维,且能提供去重数,例如uv 注意事项: 数据不能通过普通的insert插入,而只能通过insert into select插入 普通mergeTree能满足性能,尽量不用?AggregatingMergeTree 语法:AggregatingMergeTree(StartDate, (CounterID, StartDate), 8192) 表引擎 可以实现删除数据功能 CollapsingMergeTree引擎 常见的使用场景: 通过该引擎可以实现数据的删除操作 注意事项: Max和Min的指标无法通过该引擎实现 语法:CollapsingMergeTree(EventDate, (CounterID, EventDate, intH