Hive教程(八)---压缩和存储

目录

8.1 Hadoop源码编译支持Snappy压缩

8.2 Hadoop压缩配置

8.3 开启Map输出阶段压缩

8.4 开启Reduce输出阶段压缩

8.5 文件存储格式

8.6 存储和压缩结合


8.1 Hadoop源码编译支持Snappy压缩

8.1.1 资源准备
  1. CentOS联网
    配置CentOS能连接外网。Linux虚拟机ping www.baidu.com 是畅通的
    注意:采用root角色编译,减少文件夹权限出现问题

  2. jar包准备(hadoop源码、JDK8 、maven、protobuf)
    (1)hadoop-2.7.2-src.tar.gz
    (2)jdk-8u144-linux-x64.tar.gz
    (3)snappy-1.1.3.tar.gz
    (4)apache-maven-3.0.5-bin.tar.gz
    (5)protobuf-2.5.0.tar.gz

8.1.2 jar包安装

       注意:所有操作必须在root用户下完成

  1. JDK解压、配置环境变量J
已标记关键词 清除标记
©️2020 CSDN 皮肤主题: 编程工作室 设计师:CSDN官方博客 返回首页
实付 19.90元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、C币套餐、付费专栏及课程。

余额充值