0
点赞
收藏
分享

微信扫一扫

Hadoop 集群搭建

千行 2022-02-27 阅读 66

一、模板虚拟机配置

1) 设置ip地址
设置ip是保证ip地址与主机名保持一致,如:192.168.10.100 -> hadoop100
2) 设置hostname
修改 /etc/hostname 文件修改
3) 设置hostname 与 ip 地址的映射
映射的配置文件保存在 /etc/hosts 中,网络中的每一台机器都是独立保存这份配置文件的。
4) yum 安装额外的rpm包:yum install -y epel-release (-y表示不需要对逐个包yes) 如果安装的是 最小版的Linux 还需要额外 安装 net-tools 和 vim
5) 关闭防火墙、关闭防火墙开机自动启动:(保证集群之间的稳定连接)
systemctl stop firewalld
systemctl disable firewalld.service在这里插入图片描述
6)添加一个普通用户:atguigu,并修改/etc/sudoers配置文件, 使得sudo 后拥有和root同样的权限,并且不需要使用密码验证
useradd atguigu
vim /etc/sudoers
在这里插入图片描述
sudo 命令可以使得普通用户获得指定的权限,(限制用户只在某台主机上运行某些命令),可以看做是普通用户向超级管理员申请获取权限。

7)在/opt (用于存放第三软件)目录下文件夹module 和 software,并更改所有主和组为atguigu
在这里插入图片描述在这里插入图片描述
8)卸载之前安装到的jdk:rpm -qa | grep -i java | xargs -n1 rmp -e --nodeps
在这里插入图片描述
grep -i 忽略大小写
xargs 从 标准 输入 读入 参数. 参数 用 空格(可以 用 双引号 单引号 或 反斜杠 转意) 或者 回车 隔开. 然后 一次 或者 多次 执行 命令: 从标准输入重建并执行命令行

rpm -e 卸载rpm包,–nodeps 忽略依赖检查
在这里插入图片描述
9)reboot 重启,模板虚拟机配置完毕

二、虚拟机克隆

1) 模板机关机后,从VMware中进行完整克隆
在这里插入图片描述
在这里插入图片描述
2) 每个虚拟机配置ip地址和主机名称
如:hadoop102 ip地址设置为192.168.10.102 hostname 设置为hadoop102

  1. 在hadoop 102中安装JDK1.8
    将jdk1.8 的linux tar.gz文件传入 之前创建的 software文件夹中
    tar -zxvf [解压文件] -C [解压到指定目录] 将jdk安装到module 文件夹
    配置环境变量,将JAVA_HOME添加到环境变量中:
    Linux环境变量的配置是通过/etc/profile.sh 文件进行配置的。
    profile.sh中会对profile.d中的sh文件循环执行
    在profile.d中添加新的sh文件,声明全局变量,修改PATH值
    sudo vim /etc/profile.d/my_var.sh
    在这里插入图片描述
    在这里插入图片描述
    重新运行profile: source /etc/profile

  2. 在hadoop102上,安装Hadoop
    步骤同上,解压、配置环境变量
    在配置环境变量中:在这里插入图片描述

三、Hadoop完全分布式运行模式

  1. 将hadoop102上 已经解压过的 hadoop 和 jdk 传输至 hadoop103 和 hadoop 104上:( Secure Copy )
    scp — 安全复制(远程文件复制程序)
    -r 递归复制整个目录。
    scp -r 【本地目录】 【远程用户名@远程主机名:远程目录】

    反之 pull :
    scp -r 【远程用户名@远程主机名:远程目录】【本地目录】
    表示从远程主机拉取文件

    rsync — 远程同步工具(相比于安全复制,只传输差异部分的文件,速度更快,效率更好)
    rsync -av 【本地目录】 【远程用户名@远程主机名:远程目录】

举报

相关推荐

0 条评论