一、模板虚拟机配置
1) 设置ip地址
设置ip是保证ip地址与主机名保持一致,如:192.168.10.100 -> hadoop100
2) 设置hostname
修改 /etc/hostname 文件修改
3) 设置hostname 与 ip 地址的映射
映射的配置文件保存在 /etc/hosts 中,网络中的每一台机器都是独立保存这份配置文件的。
4) yum 安装额外的rpm包:yum install -y epel-release (-y表示不需要对逐个包yes) 如果安装的是 最小版的Linux 还需要额外 安装 net-tools 和 vim
5) 关闭防火墙、关闭防火墙开机自动启动:(保证集群之间的稳定连接)
systemctl stop firewalld
systemctl disable firewalld.service
6)添加一个普通用户:atguigu,并修改/etc/sudoers配置文件, 使得sudo 后拥有和root同样的权限,并且不需要使用密码验证
useradd atguigu
vim /etc/sudoers
sudo 命令可以使得普通用户获得指定的权限,(限制用户只在某台主机上运行某些命令),可以看做是普通用户向超级管理员申请获取权限。
7)在/opt (用于存放第三软件)目录下文件夹module 和 software,并更改所有主和组为atguigu
8)卸载之前安装到的jdk:rpm -qa | grep -i java | xargs -n1 rmp -e --nodeps
grep -i 忽略大小写
xargs 从 标准 输入 读入 参数. 参数 用 空格(可以 用 双引号 单引号 或 反斜杠 转意) 或者 回车 隔开. 然后 一次 或者 多次 执行 命令: 从标准输入重建并执行命令行
rpm -e 卸载rpm包,–nodeps 忽略依赖检查
9)reboot 重启,模板虚拟机配置完毕
二、虚拟机克隆
1) 模板机关机后,从VMware中进行完整克隆
2) 每个虚拟机配置ip地址和主机名称
如:hadoop102 ip地址设置为192.168.10.102 hostname 设置为hadoop102
-
在hadoop 102中安装JDK1.8
将jdk1.8 的linux tar.gz文件传入 之前创建的 software文件夹中
tar -zxvf [解压文件] -C [解压到指定目录] 将jdk安装到module 文件夹
配置环境变量,将JAVA_HOME添加到环境变量中:
Linux环境变量的配置是通过/etc/profile.sh 文件进行配置的。
profile.sh中会对profile.d中的sh文件循环执行
在profile.d中添加新的sh文件,声明全局变量,修改PATH值
sudo vim /etc/profile.d/my_var.sh
重新运行profile: source /etc/profile -
在hadoop102上,安装Hadoop
步骤同上,解压、配置环境变量
在配置环境变量中:
三、Hadoop完全分布式运行模式
-
将hadoop102上 已经解压过的 hadoop 和 jdk 传输至 hadoop103 和 hadoop 104上:( Secure Copy )
scp — 安全复制(远程文件复制程序)
-r 递归复制整个目录。
scp -r 【本地目录】 【远程用户名@远程主机名:远程目录】反之 pull :
scp -r 【远程用户名@远程主机名:远程目录】【本地目录】
表示从远程主机拉取文件rsync — 远程同步工具(相比于安全复制,只传输差异部分的文件,速度更快,效率更好)
rsync -av 【本地目录】 【远程用户名@远程主机名:远程目录】