如何巧用函数索引解决数据倾斜列查询_光环大数据培训.pdfVIP

光环大数据--大数据培训人工智能培训 如何巧用函数索引解决数据倾斜列查询_光环大数据培训 光环大数据（大数据培训机构），了解到通常来说，索引选取的数据列 最好为分散度高、选择性好。从索引树结构的角度看，列值都是分布在叶节点位 置。这样，通过树结构搜索得到的叶节点数量效率比较高。实际中，我们常常遇 到数据列值倾斜的情况。就是说，整个 ... SQL Java Hadoop Oracle 培训 函数 通常来说，索引选取的数据列较好为分散度高、选择性好。从索引树结构的 角度看，列值都是分布在叶节点位置。这样，通过树结构搜索得到的叶节点数量 效率比较高。 实际中，我们常常遇到数据列值倾斜的情况。就是说，整个列数 据取值有限。但是大部分数据值都集中在少数一两个取值里，其他取值比例极少。 比如：一个数据列值有 “N”、“B”、“M”、“P”、“Q” 几个取值，其中 55% 数据 行取值为 “N”，40% 数据行取值为 “B”，剩下的取值分布在 5% 的数据行中。 对于这种结构的数据列加索引，是存在一些问题的。 首先，默认数据库是会为 所有的列值（非空）建立索引结构。也就意味着无论是高频度取值，还是低频度 取值，都会在索引结构的叶节点上出现。当然，这样的大部分叶节点都是这些重 复值。 其次，在 CBO （基于成本优化器）的作用下，对高频度取值的搜索一般 都不会选择索引作为搜索路径，因为进行全表扫描可能效率更高。我们为数据列 建立了索引，但高频词的查询永远不会走到索引路径。 最后，建立的索引空间 和时间消耗比较大。建立的索引涵盖所有取值，对海量数据表而言，占有的空间 势必较大。同时，在进行小频度数据查询的时候，虽然会去走索引路径，但是引 起的逻辑物理读也是有一些损耗。 引入一个解决方法，思路：既然高频度值在 查询的时候不会走到索引路径，可以考虑将其剔出构建索引的过程，只为那些低 频度数据值建立索引结构。这样，建立的索引树结构相对较小，而且索引查询的 效率也能提升。具体的方法是使用 decode 函数。decode(a,b,c,d,e„f) 含义： 光环大数据 光环大数据--大数据培训人工智能培训 如果 a=b，则返回 c, 等于 d, 返回 e, 最后没有匹配的情况下，返回 f。针对 上面的例子，可以使用 decode(列名，‘N’, null, ‘B’, null, 列名)，含义 是，如果该列取值为 N 或者 B，直接设置为 null，否则才返回列值。并且以此 建立函数索引。 这样做借助了 Oracle 两个功能：1、对 null 值不生成索引； 2、函数索引； 下面的实验证明了该方法： 1、 构建数据环境// 数据准备 SQL create table t as select * from dba_objects where 1=0; Table created// 构造大数据环境，使用脚本declare i number;begin for i in 1..40 loop insert /*+ append */ into t select * from dba_objects; commit; end loop;end;/ SQL select count(*) from t; COUNT(*) 4759209 Executed in 15.522 seconds 整理后的数据环境如下：// 投入实验的数据 状态SQL select secondary, count(*) from t group by secondary; SECONDARY COUNT(*) 9D 273T 421230J 1866592E 99S 2470733 7 rows selected Executed in 18.002 seconds 可以看到，近五百万数据两种，绝大部分数 据集中到了 S、T、J 上，其他数据取值频数较小。数据倾斜趋势明显。