大数据-各组件之间的版本兼容关系

发表于 | 分类于
大数据-各组件版本兼容关系

前言

查看版本

认证

认证

1
kinit -kt /data/kerberos/kerberos.keytab hdfs/hdp01@HADOOP.COM

查看认证状态

1
klist

JDK

1
java -version

Zookeeper

1
2
zkCli.sh -server hdp01:2181
version

Hadoop

1
hadoop version
1
flink -v

Hive

1
hive

Hbase

1
hbase version

版本之间的兼容性

Hadoop和Hbase

hadoop版本 hbase版本
Hadoop-2.7.1+ HBase-1.4.x
Hadoop-2.8.5+ HBase-1.6.xHBase-2.2.x
Hadoop-2.9.2+ HBase-1.6.xHBase-2.2.x
Hadoop-2.10.x HBase-1.6.xHBase-1.7.xHBase-2.3.x
Hadoop-3.1.1+ HBase-2.2.xHBase-2.3.x
Hadoop-3.2.x HBase-2.2.xHBase-2.3.x

Phoenix与HBase的兼容性

下载

http://archive.apache.org/dist/phoenix/phoenix-5.1.2/

依赖

1
2
3
4
5
6
7
8
9
10
11
12
<!--Phoenix-->
<dependency>
    <groupId>org.apache.phoenix</groupId>
    <artifactId>phoenix-core</artifactId>
    <version>${phoenix.version}</version>
</dependency>

<dependency>
    <groupId>org.apache.phoenix</groupId>
    <artifactId>phoenix-hbase-compat-${hbase.version}</artifactId>
    <version>${phoenix.version}</version>
</dependency>

兼容的版本

部署的各个服务及版本

服务 版本 说明
JDK 8u221 JDK8是其他服务启动的基础
Zookeeper 3.7.1 状态保存
Hadoop 2.7.7 较新的版本不太好找找其他服务的兼容版本
Flink 1.12.7 做大数据计算
Hive 2.1.0 数仓使用
Hbase 2.1.10 查询高效的数据库
Phonenix 5.1.2 SQL方式操作Hbase

pom中配置

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
<properties>
    <maven.compiler.source>8</maven.compiler.source>
    <maven.compiler.target>8</maven.compiler.target>
    <hadoop.version>2.7.7</hadoop.version>
    <hive.version>2.1.0</hive.version>
    <flink.version>1.12.7</flink.version>
    <scala.binary.version>2.12</scala.binary.version>
    <!--这个不是所有的版本都有 2.1.6是兼容2.1.10的-->
    <hbase.version>2.1.6</hbase.version>
    <phoenix.version>5.1.2</phoenix.version>

    <!-- 文件拷贝时的编码 -->
    <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>
    <project.reporting.outputEncoding>UTF-8</project.reporting.outputEncoding>
    <!-- 编译时的编码 -->
    <maven.compiler.encoding>UTF-8</maven.compiler.encoding>
</properties>