0
点赞
收藏
分享

微信扫一扫

hadoop的分布式集群环境搭建

westfallon 2022-03-11 阅读 63

1.虚拟机搭建部分

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
root登录
ip addr 查看当前的IP地址
在这里插入图片描述

2.克隆虚拟机(集群)

在这里插入图片描述

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
基础设置
vi /etc/sysconfig/network-scripts/ifcfg-ens33
在这里插入图片描述
设置BOOTPROTO 为 “static” 静态ip
在这里插入图片描述
四台虚拟机所设置的地址:
IPADDR:192.168.229.130
IPADDR:192.168.229.131
IPADDR:192.168.229.132
IPADDR:192.168.229.133

:wq

service network restart
在这里插入图片描述
设置主机名
vi /etc/hostname
在这里插入图片描述
关闭防火墙(永久)
systemctl disable firewalld
在这里插入图片描述
ssh免密码登录
ssh-keygen -t rsa
一直回车 直到返回命令行
在这里插入图片描述
在这里插入图片描述
目录中有两个文件
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
重定向到密钥中 可以进行登陆访问
在这里插入图片描述
先创建一个目录来存放后续所需安装的soft
mkdir -p /data/soft

JDK1.8 安装配置
在这里插入图片描述
解压
tar -zxvf jdk-8u202-linux-x64.tar.gz

在这里插入图片描述
修改解压后的名称
mv jdk1.8.0_202/ jdk1.8

vi /etc/profile
export JAVA_HOME=/data/soft/jdk1.8
export PATH=.: J A V A H O M E / b i n : JAVA_HOME/bin: JAVAHOME/bin:PATH
在这里插入图片描述
:wq
source /etc/profile
最后查看版本号
java -version
在这里插入图片描述
注:以上操作在四台机器中均需要进行一次操作

3.实现主从节点关系

在 xkhbigdata01、02、03、04虚拟机中
vi /etc/hosts
在这里插入图片描述
测试:(分别从01ping02、03、04)
在这里插入图片描述
不同节点间时间同步
先进行服务安装
yum install -y ntpdate
在这里插入图片描述
在这里插入图片描述
ntpdate -u ntp.sjtu.edu.cn (四台机器)
在这里插入图片描述
主节点到从节点的免密码登录
在xkhbigdata01中操作
scp ~/.ssh/authorized_keys xkhbigdata02:~/
scp ~/.ssh/authorized_keys xkhbigdata03:~/
scp ~/.ssh/authorized_keys xkhbigdata04:~/
在这里插入图片描述
在02、03、04中操作
cat ~/authorized_keys >> ~/.ssh/authorized_keys
在这里插入图片描述
验证:
在这里插入图片描述

4.安装hadoop

在xkhbigdata01中安装 后分布至各节点
在这里插入图片描述
tar -zxvf hadoop-3.2.0.tar.gz
在这里插入图片描述
/data/soft/hadoop-3.2.0/etc/hadoop

vi hadoop-env.sh
export JAVA_HOME=/data/soft/jdk1.8
export HADOOP_LOG_DIR=/data/hadoop_repo/logs/hadoop
在这里插入图片描述
vi core-site.xml

<configuration>
<property>
        <name>fs.defaultFS</name>
        <value>hdfs://xkhbigdata01:9000</value>    (主节点信息)
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/data/hadoop_repo</value>
   </property>
</configuration>

vi hdfs-site.xml

<configuration>
<property>
        <name>dfs.replication</name>
        <value>3</value>     
    </property>
    <property>
        <name>dfs.namenode.secondary.http-address</name>
        <value>xkhbigdata01:50090</value>
    </property>
</configuration>

vi mapred-site.xml

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

vi yarn-site.xml

<configuration>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <property>
        <name>yarn.nodemanager.env-whitelist</name>
        <value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value>
    </property>
        <property>
                <name>yarn.resourcemanager.hostname</name>
                <value>xkhbigdata01</value>
        </property>
</configuration>

vi workers
在这里插入图片描述

/data/soft/hadoop-3.2.0/sbin
均为添加操作
vi start-dfs.sh在这里插入图片描述
vi stop-dfs.sh
在这里插入图片描述

vi start-yarn.sh
在这里插入图片描述
vi stop-yarn.sh
在这里插入图片描述

/data/soft
将配置好的hadoop发送至三台子节点虚拟机()
scp -rq hadoop-3.2.0 xkhbigdata02:/data/soft/
scp -rq hadoop-3.2.0 xkhbigdata03:/data/soft/
scp -rq hadoop-3.2.0 xkhbigdata04:/data/soft/

在这里插入图片描述
格式化namenode
bin/hdfs namenode -format
在这里插入图片描述
在这里插入图片描述
启动集群
sbin/start-all.sh

在这里插入图片描述
查看进程信息
主节点

在这里插入图片描述

从节点
在这里插入图片描述
在这里插入图片描述
完成

举报

相关推荐

0 条评论