Hive教程（九）---企业级调优

目录

前述

9.1 Fetch抓取

9.2 本地模式

9.3 表的优化

9.4 数据倾斜

9.5 并行执行

9.6 严格模式

9.7 JVM重用

9.8 推测执行

9.9 压缩

9.10 执行计划（Explain） (搜索)

---

前述

查询速度 效率

1. 分区 分桶表
2. 特殊的文件格式 列式存储的文件类型
3. 查询时候指定字段
4. join的时候使用on 避免笛卡尔积
5. hive底层mr , inert into values
6. reduce阶段 数据倾斜 添加reduce的个数
7. 设置maptask处理数据的大小 , 128M
8. join 小表join大表 底层分布式缓存 2.0自动的优化
9. set hive.exec.mode.local.auto=true; 本地运行模式 测试使用\
10. hive mr --> spark引擎运行

9.1 Fetch抓取

       Fetch抓取是指，Hive中对某些情况的查询可以不必使用MapReduce计算。例如：SELECT *