小表在左减少reduce加载到内存数据量教程.pdfVIP

Join

•小表在左

–减少reduce加载到内存的数据量

•连续Join，小表先参与Join

–减少第一次join后reduce输出

数据倾斜

•大量NULL字段导致的数据倾斜

•解决方法1.User_id为空的不参与关联

–Select*

–Fromloga

–Joinbmw_usersb

–Ona.user_idisnotnull

–Anda.user_id=b.user_id

–Unionall

–Select*

–fromloga

–wherea.user_idisnull.

•解决方法2：

–Select*

–fromloga

–leftouterjoinbmw_usersb

–oncasewhena.user_idisnullth