准备环境
https://www.psvmc.cn/article/2022-03-31-bigdata-environment.html
配置安装YUM源
在(master上)
1 | mkdir -p /var/www/html |
ambari依赖包准备,上传到主节点master的/var/www/html路径下
(本次选择的ambari是比较新的版本2.7.4,HDP3.1.4,Mysql5.7,JDK1.8)
1、安装http服务器(在 master上)
需要安装的包(systemctl status httpd.service检查有的话就不用装了)
2、修改端口
1 | vi /etc/httpd/conf/httpd.conf |
可以修改/var/www/html至其他目录
最好修改端口 这里使用8081,不用默认80
1 | systemctl start httpd.service |
3、将Ambari、HDP、HDP-GPL、HDP-UTIL放到master的/var/www/html目录下并解压
链接:https://pan.baidu.com/s/1zs04Kg-mktmA9r60cUwa5w
提取码:psvm
4、并修改repo文件
1 | cd /var/www/html/ambari/centos7/2.7.4.0-118 |
修改repo文件
1 | [ambari-2.7.4.0] |
复制
1 | cp ambari.repo /etc/yum.repos.d/ |
修改hdp.repo
1 | #VERSION_NUMBER=3.1.4.0-315 |
修改
1 | cp hdp.repo /etc/yum.repos.d/ |
编辑
1 | vi hdp.gpl.repo |
内容
1 | #VERSION_NUMBER=3.1.4.0-315 |
复制配置
1 | cp hdp.gpl.repo /etc/yum.repos.d/ |
所有服务器上,把在线的备份、删除
1 | tar zcvf centos_bak.tar.gz CentOS-*.repo |
复制到另外两台服务器上
1 | scp /etc/yum.repos.d/*.repo root@ slave1:/etc/yum.repos.d/ |
所有服务器上,执行:
1 | yum clean all |
安装Mysql( master上)
安装
1 | curl -o /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repo |
安装mysql 服务器 命令:
1 | yum install -y mysql-community-server --nogpgcheck |
启动mysql 命令:
1 | service mysqld start |
查看mysql是否自启动,并且设置开启自启动 命令:
1 | chkconfig --list | grep mysqld |
查询初始密码
1 | cat /var/log/mysqld.log|grep password |
连接
1 | mysql -u root -p |
设置mysql5.7允许简单密码
1 | set global validate_password_policy=0; |
(可忽略)删除MySQL用户
1 | use mysql; |
创建MySQL ambari用户
1 | CREATE USER 'ambari'@'localhost' IDENTIFIED BY 'ambari'; |
创建MySQL hive用户
1 | CREATE USER 'hive'@'localhost' IDENTIFIED BY 'hive'; |
安装ambari(master上执行)
1、拷贝mysql连接驱动,路径可以自定义,创建ambari时用
1 | cp mysql-connector-java-5.1.43.jar /usr/share/java/ |
2、yum install ambari-server
1 | yum install ambari-server |
3、ambari-server setup(注意以下标红的地方,需要手动输入)
1 | ambari-server setup |
显示如下
1 | Using python /usr/bin/python |
4、如果选择mysql,需要执行mysql连接
1 | ambari-server setup --jdbc-db=mysql --jdbc-driver=/usr/share/java/mysql-connector-java-5.1.43.jar |
5、进mysql执行
1 | create database ambari; |
6、(所有服务器上)关闭DNS服务: lsof -i:53
卸载dns服务
1 | rpm -qa|grep dnsmasq |
7、修改ambari-server默认端口
1 | vi /etc/ambari-server/conf/ambari.properties |
如下1
client.api.port=8089
8、(master上)启动ambari服务:
1 | ambari-server start |
9、(所有服务器)启动chronyd服务
1 | systemctl start chronyd.service |
系统配置
1、hive配置beeline,在$HIVE_HOME/conf下添加文件beeline-hs2-connection.xml
1 |
|
2、Hive用户配置管理员权限,在hive-site.xml中添加配置:
1 | <property> |
安装配置部署HDP集群
1、访问Ambari web页面
默认端口8080,我前面改成8089,所以访问(http://192.168.7.101:8089)
admin/admin登陆
2、 开始集群安装
点击启用安装向导,点击开始安装
3、 配置集群名称
注意不要用下划线!!!(一开始用了下划线无法安装,下列截图出现下划线请忽略)
设置:
1 | master |
4、版本选择
5、 添加需要纳入集群的节点
从master服务器上取免密文件
选择加密文件id_rsa
(也可以选择右边的,不用免密)
6、主机确认
7、选择需要安装的组件(根据自己需要选择)
8、 资源节点分配(合理分配资源)
9、分配各节点需要安装的服务客户端
10、 配置信息、设置密码、集群服务文件路径
可以查看Review模块:下载集群节点服务部署信息
11、 开始安装(不一定会顺利完成,一个个问题解决完再往下一步)
耐心等待。。。
12、安装成功