Hive教程(九)---企业级调优

目录

前述

9.1 Fetch抓取

9.2 本地模式

9.3 表的优化

9.4 数据倾斜

9.5 并行执行

9.6 严格模式

9.7 JVM重用

9.8 推测执行

9.9 压缩

9.10 执行计划(Explain) (搜索)


前述

查询速度 效率

  1. 分区 分桶表
  2. 特殊的文件格式 列式存储的文件类型
  3. 查询时候指定字段
  4. join的时候使用on 避免笛卡尔积
  5. hive底层mr , inert into values
  6. reduce阶段 数据倾斜 添加reduce的个数
  7. 设置maptask处理数据的大小 , 128M
  8. join 小表join大表 底层分布式缓存 2.0自动的优化
  9. set hive.exec.mode.local.auto=true; 本地运行模式 测试使用\
  10. hive mr --> spark引擎运行

9.1 Fetch抓取

       Fetch抓取是指,Hive中对某些情况的查询可以不必使用MapReduce计算。例如:SELECT *

已标记关键词 清除标记
©️2020 CSDN 皮肤主题: 编程工作室 设计师:CSDN官方博客 返回首页
实付 19.90元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、C币套餐、付费专栏及课程。

余额充值