《Hive数据仓库案例教程》教学课件-第9章--Hive优化.pptxVIP

第9章 Hive优化;9.1.1 本地模式;9.1 Hive参数优化;Hive在Hadoop集群上查询时，默认是在Hadoop集群上的多台服务器上运行的（需要这些服务器协调运行），这种方式很好地解决了大数据的查询问题。但是当Hive查询处理的数据量比较小时，为查询触发执行任务消耗的时间可能会比实际作业（Job）的执行时间要长得多，在这种情况下，因为以分布式方式执行就涉及跨网络传输、多节点协调、资源调度分配等，消耗资源较大。对于大多数这种情况，Hive可以通过本地模式在单台服务器上处理所有的任务，对于小数据集，执行时间可以明显缩短。 用户可以通过在Hive的hive-site.xml配置文件中配置参数hive.exec.mode.local.auto、hive.exec.mode.local.auto.inputbytes.max和hive.exec.mode.local.auto.input.files.max，来实现本地模式的优化。hive.exec.mode.local.auto的属性值为True时，允许Hive在适当时自动启动本地模式优化。当然，也可以在客户端设置本地模式的相关参数。 hive.exec.mode.local.auto：设置是否开启本地模式，取值为True或False，默认值为False。;hive.exec.mode.local.auto.inputbytes.max：设置本地模式的最大输入数据量。当输入数据量小于这个值时，启动本地模式，默认值为128MB。 hive.exec.mode.local.auto.input.files.max：设置本地模式的最大输入文件个数。当输入文件个数小于这个值时，启动本地模式，默认值为4。;Fetch抓取是指在Hive中对某些情况的查询可以不必执行MapReduce程序。例如“Select * From emp;”，在这种情况下，Hive可以简单地读取表emp对应的存储目录下的文件，然后输出查询结果到控制台，效率提高。 在hive-default.xml配置文件中，参数hive.fetch.task.conversion的属性值分别是None、Minimal和More，默认值为More。默认值More表明，在全局查找、字段查找、过滤查找、Limit查找等都不执行MapReduce程序。属性值None表明，执行查询语句，会执行MapReduce程序。;property namehive.fetch.task.conversion/name valuemore/value description Expects one of [none, minimal, more]. Some select queries can be converted to single FETCH task minimizing latency. Currently the query should be single sourced not having any subquery and should not have any aggregations or distincts (which incurs RS), lateral views and joins. 0. none : disable hive.fetch.task.conversion 1. minimal : SELECT STAR, FILTER on partition columns, LIMIT only 2. more : SELECT, FILTER, LIMIT only (support TABLESAMPLE and virtual columns) /description /property;Fetch抓取;9.1.3 并行执行;9.1.4 严格模式;严格模式;1．带有分区表的查询 如果对一个分区表执行Hive查询，除非Where语句中含有分区字段过滤条件来限制范围，否则不允许执行。也就是说，就是用户不允许扫描所有分区。这种限制的原因是，通常分区表都拥有非常大的数据集，没有进行分区限制的查询可能会消耗巨大资源来处理这个表查询。 2．带有Order By的查询 对于使用了Order By语句的查询，要求必须使用Limit语句。因为Order By为了执行排序，会将所有的结果数据分发到同一个Reduce中进行处理，所以强制用户使用Limit语句以防止Reduce额外执行很长一段时间。;3．限制笛卡儿积的查询 进行表连接时，不写关联条件或关联条件失效会导致笛卡儿积。数据量非常大时，笛卡儿积查询