大数据-Taier部署

发表于 | 分类于
大数据-Taier部署

前言

Taier

文档：https://dtstack.github.io/Taier/docs/guides/introduction/

视频：https://www.bilibili.com/video/BV13L4y1L71w/

源码：https://github.com/DTStack/Taier

依赖

  • JDK 版本: JDK 1.8 +
  • MySQL 版本: MySQL 5.7.33 +
  • Zookeeper 版本: Zookeeper 3.5.7 +
  • DatasourceX（数据源插件）：latest
  • Chunjun（数据同步插件）：1.12
  • Flink On Yarn
    • 数据同步任务依赖
    • 版本：flink-1.12
  • Spark On Yarn
    • Spark SQL 任务运行依赖
    • 版本：spark-2.1.3

DatasourceX

https://github.com/DTStack/DatasourceX/releases/tag/v4.3.2

链接：https://pan.baidu.com/s/16iXI71BKtvzsaABvjdhEzg
提取码：psvm

Chunjun

Docker部署

启动ZK

启动ZK

1
%ZK_HOME%/bin/zkServer.cmd

进入

1
%ZK_HOME%/bin/zkCli.cmd

输入命令

1
2
3
4
5
6
7
8
9
#查看zk的根目录kafka相关节点
ls / 
#查看kafka节点
ls /brokers
ls /brokers/topics  

create /zk "test"
set /zk "zkbak"
get /zk

数据库

注意Mysql的版本

https://dev.mysql.com/downloads/windows/installer/5.7.html

否则无法正常导入。

数据库中添加taier

导入如下SQL

https://github.com/DTStack/Taier/blob/master/sql/init.sql

仅使用taier的web和ui，确保以下环境正常:

  • 外部的mysql，初始化好taier的数据库数据
  • 外部的zookeeper，可以正常连接

启动

获取taier镜像

1
2
docker pull dtopensource/taier:1.2
docker pull dtopensource/taier-ui:1.2

启动web容器,mysql和zookeeper的配置信息根据实际环境调整

1
docker run -itd -p 8090:8090 --env ZK_HOST=172.19.144.1 --env ZK_PORT=2181 --env DB_HOST=172.19.144.1 --env DB_PORT=3306 --env DB_ROOT=root  --env DB_PASSWORD=123456 --env DATASOURCEX_PATH=/usr/taier/datasourcex -v D:\\Tools\\BigData\\DatasourceX:/usr/taier/datasourcex dtopensource/taier:1.2

查看容器数据

1
docker inspect 2fed98bad599

启动ui容器 TAIER_IP配置为启动的web容器的ip

1
docker run -itd -p 80:80 --env TAIER_IP=172.17.0.2 --env TAIER_PORT=8090 dtopensource/taier-ui:1.2

当命令执行完成后，在浏览器上直接访问

http://localhost/

但是Windows环境下无法运行，Windows上的Docker是在虚拟环境中运行的，所以要用虚拟环境的IP

image-20221028154834833

http://172.19.144.1/

使用docker-compose

通过docker-compose启动

docker-compose.yml

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
version: '3'
services:
  taier-db:
    image: dtopensource/taier-mysql:1.2
    environment:
      MYSQL_DATABASE: taier
      MYSQL_ROOT_PASSWORD: 123456
  taier-zk:
    image: zookeeper:3.4.9
  taier-ui:
    image: dtopensource/taier-ui:1.2
    ports:
      - 80:80
    environment:
      TAIER_IP: taier
      TAIER_PORT: 8090
  taier:
    image: dtopensource/taier:1.2
    environment:
      ZK_HOST: taier-zk
      ZK_PORT: 2181
      DB_HOST: taier-db
      DB_PORT: 3306
      DB_ROOT: root
      DB_PASSWORD: 123456
      DATASOURCEX_PATH: /usr/taier/datasourcex
    volumes:
      - D:\\Tools\\BigData\\DatasourceX\\pluginLibs:/usr/taier/datasourcex

进入docker-compose目录，执行

1
docker-compose up -d

当命令执行完成后，在浏览器上直接访问

http://localhost/

用户名密码：

查看服务

1
docker-compose ps

查看配置的插件是否生效

1
2
3
4
5
6
# 在运行中的容器里运行命令
docker exec -t -i taier-taier-1 /bin/bash
cd /usr/taier/datasourcex
ls
# 退出
exit

查看日志

1
docker-compose logs

停止服务

1
docker-compose down