(15)Hive调优——数据倾斜的解决指南

目录

前言

一、什么是数据倾斜

二、发生数据倾斜的表现

2.1 MapReduce任务

2.2 Spark任务

三、如何定位发生数据倾斜的代码

四、发生数据倾斜的原因

3.1 key分布不均匀

3.1.1 某些key存在大量相同值

3.1.2 存在大量异常值或空值

3.2 业务数据本身的特性

3.3 SQL语句本身就有数据倾斜

3.4 建表时考虑不周

四、触发数据倾斜的SQL操作

五、数据倾斜的解决方案

5.1 Map长尾优化

5.1.1 Map读取数据量不均匀

5.2 Join长尾优化

5.2.1 关联键存在空值

5.2.2 大表关联小表

优化方案一：使用Map Join

5.2.3 大表关联大表

优化方案一：手动切分热值

优化方案二：使用Bucket Join

优化方案三：使用Sort Merge Bucket Join

优化方案四：使用Skew Join

优化方案五：使用SkewJoin Hint

5.2.4 大表关联中表

5.3 Reduce长尾优化

5.3.1 GroupBy数据倾斜

优化方案一：开启Map端聚合

 优化方案二：数据倾斜时自动负载均衡

优化方案三：添加随机数，两阶段聚合

5.3.2 Count Distinct

优化方案一：参数调优

 优化方案二：添加随机数，两阶段聚合

优化方案三：类似两阶段聚合

5.3.3 ROW_NUMBER(计算TopN)

优化方案一：sql写法的两阶段聚合

5.3.4 动态分区写入数据倾斜

前言

     本篇文章主要整理Hive数据倾斜的解决指南

一、什么是数据倾斜

       数据倾斜是指在并行计算模式下（map-reduce框架，数据被切分为N个片段，分发到不同的计算节点上，单独计算），部分节点处理的数据量远大于其他节点，造成该节点计算压力过大，从而导致少数节点的运行时长远远超过其他节点的平均运行时长，进而影响整体任务产出时效，造成任务延迟，这个现象就是数据倾斜。

    简单来说，数据倾斜是大量的相同key被partition分配到一个分区里，造成了 ' 一个人累死，其他人闲死 ' 的情况，数据倾斜的本质就是计算节点间的数据分配不均衡。

二、发生数据倾斜的表现

    数据倾斜一般出现在 join/group by/distinct 等聚合操作时，大量的相同key被分配到少量的 reduce 去处理。导致绝大多数task执行得都非常快，但个别 task执行的极慢，原本能正常执行的作业，某天突然爆出 OOM（内