0
点赞
收藏
分享

微信扫一扫

HDFS新增节点与删除节点(9)


        随着公司业务的增长,数据量越来越大,原有的数据节点的容量已经不能满足存储数据的需求,需要在原有集群基础上动态添加新的数据节点。因此,本篇博客小菌为大家带来的是​HDFS新增节点与删除节点​的内容。


文章目录

  • 准备新节点
  • 1:复制一台新的虚拟机出来
  • 2:修改mac地址以及IP地址
  • 3:关闭防火墙,关闭selinux
  • 4:更改主机名
  • 5:四台机器更改主机名与IP地址映射
  • 6:node04服务器关机重启并生成公钥与私钥
  • 7:node04安装jdk
  • 8:解压Hadoop安装包
  • 9:将node01关于Hadoop的配置文件全部拷贝到node04
  • 服役新节点具体步骤
  • 1.创建dfs.hosts文件
  • 2.node01编辑hdfs-site.xml添加以下配置
  • 3.刷新namenode
  • 4.更新resourceManager节点
  • 5.namenode的slaves文件增加新服务节点主机名称
  • 6.单独启动新增节点
  • 7.浏览器查看
  • 8.使用负载均衡命令,让数据均匀负载所有机器
  • 退役旧数据节点
  • 1.创建dfs.hosts.exclude配置文件
  • 2.编辑namenode所在机器的hdfs-site.xml
  • 3.刷新namenode,刷新resourceManager
  • 4.查看web浏览界面
  • 5.节点退役完成,停止该节点进程
  • 6.从include文件中删除退役节点
  • 7.从namenode的slave文件中删除退役节点
  • 8.如果数据负载不均衡,执行以下命令进行均衡负载
  • 9.再次检查浏览器




准备新节点

1:复制一台新的虚拟机出来

        将我们纯净的虚拟机(裸机)复制一台出来,作为我们新的节点。

2:修改mac地址以及IP地址

        修改mac地址命令

        ​​vim /etc/udev/rules.d/70-persistent-net.rules​

        修改ip地址命令

        ​​vim /etc/sysconfig/network-scripts/ifcfg-eth0​

3:关闭防火墙,关闭selinux

        关闭防火墙

        ​​service iptables stop​

        关闭selinux

        ​​vim /etc/selinux/config​

4:更改主机名

        更改主机名为node04

        ​​vim /etc/sysconfig/network​

5:四台机器更改主机名与IP地址映射

        四台机器都要添加hosts文件

        ​​vim /etc/hosts​

192.168.100.100 node01.Hadoop.com  node01
192.168.100.110 node02.Hadoop.com node02
192.168.100.120 node03.Hadoop.com node03
192.168.100.130 node04.Hadoop.com node04

6:node04服务器关机重启并生成公钥与私钥

        node04服务器因为改过主机名,因此需要先重启使之生效

        ​​reboot​

        node04执行以下命令生成公钥与私钥

        ​​ssh-keygen​

        node04执行以下命令将node04的私钥拷贝到node01服务器

        ​​ssh-copy-id node01​

        node01执行以下命令,将authorized_keys拷贝给node04

        ​​cd /root/.ssh/​

        ​​scp authorized_keys node04:$PWD​

7:node04安装jdk

        为了方便管理,node04需要统一两个路径

        ​​mkdir -p /export/softwares/​

        ​​mkdir -p /export/servers/​

        然后解压jdk安装包,配置环境变量,或将集群中的java安装目录拷贝一份,并配置环境变量。

8:解压Hadoop安装包

        在node04服务器上面解压Hadoop安装包到/export/servers

        node01执行以下命令将Hadoop安装包拷贝到node04服务器

        ​​cd /export/softwares/​

        ​​scp hadoop-2.6.0-cdh5.14.0-自己编译后的版本.tar.gz node04:$PWD​

9:将node01关于Hadoop的配置文件全部拷贝到node04

        node01执行以下命令,将Hadoop的配置文件全部拷贝到node04服务器上面

        ​​cd /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop/scp ./* node04:$PWD​



服役新节点具体步骤

1.创建dfs.hosts文件

        在node01也就是namenode所在的机器的/export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop目录下创建dfs.hosts文件

[root@node01 hadoop]# cd /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop
[root@node01 hadoop]# touch dfs.hosts
[root@node01 hadoop]# vim dfs.hosts

添加如下主机名称(包含新服役的节点)

node01
node02
node03
node04

2.node01编辑hdfs-site.xml添加以下配置

        在namenode的hdfs-site.xml配置文件中​增加dfs.hosts属性

cd /export/servers/Hadoop-2.6.0-cdh5.14.0/etc/Hadoop
vim hdfs-site.xml
<property>
<name>dfs.hosts</name>
<value>/export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop/dfs.hosts</value>
</property>

3.刷新namenode

        node01执行以下命令刷新namenode

[root@node01 Hadoop]# hdfs dfsadmin -refreshNodes
Refresh nodes successful

4.更新resourceManager节点

        node01执行以下命令刷新resourceManager

[root@node01 Hadoop]# yarn rmadmin -refreshNodes
19/03/16 11:19:47 INFO client.RMProxy: Connecting to ResourceManager at node01/192.168.52.100:8033

5.namenode的slaves文件增加新服务节点主机名称

        node01编辑slaves文件,并添加新增节点的主机,更改完后,slaves文件不需要分发到其他机器上面去


        node01执行以下命令编辑slaves文件,slave 文件中记录的节点在集群启动时会进行启动。

cd /export/servers/Hadoop-2.6.0-cdh5.14.0/etc/hadoop
vim slaves
node01
node02
node03
node04

6.单独启动新增节点

        在node04服务器执行以下命令,启动datanode和nodemanager

cd /export/servers/hadoop-2.6.0-cdh5.14.0/
sbin/hadoop-daemon.sh start datanode # 启动datanode
sbin/yarn-daemon.sh start nodemanager # 启动nodemanager

7.浏览器查看

        重启集群后,打开浏览器通过url查看

        ​​​http://xxxx:50070/dfshealth.html#tab-overview​​

        或

        ​​​http://xxxx:8088/cluster​​​ 【xxxx为namenode节点的ip】

        效果如下,发现集群中多了一个节点说明新增成功!

HDFS新增节点与删除节点(9)_h5

8.使用负载均衡命令,让数据均匀负载所有机器

        在node01上执行以下命令:

cd /export/servers/hadoop-2.6.0-cdh5.14.0/
sbin/start-balancer.sh

退役旧数据节点

1.创建dfs.hosts.exclude配置文件

        在namenod的cd /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop目录下创建dfs.hosts.exclude文件,并添加​需要退役的主机名称


        node01执行以下命令

cd /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop
touch dfs.hosts.exclude
vim dfs.hosts.exclude
node04

2.编辑namenode所在机器的hdfs-site.xml

        编辑namenode所在的机器的hdfs-site.xml配置文件,添加以下配置


        node01执行以下命令

cd /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop
vim hdfs-site.xml
<property>
<name>dfs.hosts.exclude</name>
<value>/export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop/dfs.hosts.exclude</value>
</property>

3.刷新namenode,刷新resourceManager

        在namenode所在的机器执行以下命令,刷新namenode,刷新resourceManager

hdfs dfsadmin -refreshNodes
yarn rmadmin -refreshNodes

4.查看web浏览界面

        浏览器访问

        ​​​http://xxxx:50070/dfshealth.html#tab-datanode​​​【xxxx为namenode所在节点的ip】

HDFS新增节点与删除节点(9)_HDFS_02

5.节点退役完成,停止该节点进程

        等待退役节点状态为decommissioned(所有块已经复制完成),停止该节点及节点资源管理器。注意:如果副本数是3,服役的节点小于等于3,是不能退役成功的,需要修改副本数后才能退役。

HDFS新增节点与删除节点(9)_Hadoop_03

        node01执行以下命令,停止该节点进程

cd /export/servers/hadoop-2.6.0-cdh5.14.0
sbin/hadoop-daemon.sh stop datanode
sbin/yarn-daemon.sh stop nodemanager

6.从include文件中删除退役节点

        namenode所在节点也就是node01执行以下命令删除退役节点

cd /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop
vim dfs.hosts
node01
node02
node03

        namenode所在节点也就是node01执行以下命令刷新namenode和resourceManager

hdfs dfsadmin -refreshNodes
yarn rmadmin -refreshNodes

7.从namenode的slave文件中删除退役节点

        namenode所在机器也就是node01执行以下命令从slaves文件中删除退役节点

cd /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop
vim slaves
node01
node02
node03

8.如果数据负载不均衡,执行以下命令进行均衡负载

       &nbspnode01执行以下命令进行均衡负载

cd /export/servers/hadoop-2.6.0-cdh5.14.0/
sbin/start-balancer.sh

9.再次检查浏览器

我们再次打开浏览器查看Hadoop的节点情况,发现node04节点已经​成功被删除!

HDFS新增节点与删除节点(9)_hadoop_04

        本次的分享就到这里了,小伙伴们有什么疑惑或好的建议可以积极在评论区留言,小菌后续还会推出HDFS系列的其他内容,希望大家持续关注小菌ヾ(๑╹◡╹)ノ"!


举报

相关推荐

0 条评论