0
点赞
收藏
分享

微信扫一扫

如何在CDH集群使用HDFS快照

温馨提示:要看高清无码套图,请使用手机打开并单击图片放大查看。


1.文档编写目的



HDFS中可以对目录创建Snapshot,创建之后不管后续目录发生什么变化,都可以通过快照找回原来的文件和目录结构,那么在CDH集群中如何使用HDFS的快照功能呢?本文章主要讲述如何在CDH中使用HDFS的快照功能,包括全量快照和增量快照和恢复。


  • 内容概述

1.启用目录快照功能

2.创建目录快照

3.快照数据恢复

4.总结


  • 测试环境

1.CM和CDH版本为5.11.2

2.操作系统:RedHat7.2

3.采用sudo权限的ec2-user用户操作


2.启用快照功能



1.登录CM的Web界面


如何在CDH集群使用HDFS快照_hdfs


2.进入HDFS服务

如何在CDH集群使用HDFS快照_数据_02


3.点击菜单“文件浏览”

如何在CDH集群使用HDFS快照_数据_03


4.选择需要创建快照的目录/data/mytest目录

如何在CDH集群使用HDFS快照_hdfs_04


5.在创建快照时,需要先启用该目录的快照

如何在CDH集群使用HDFS快照_hadoop_05

如何在CDH集群使用HDFS快照_hadoop_06


快照启用成功

如何在CDH集群使用HDFS快照_数据_07

如何在CDH集群使用HDFS快照_hadoop_08


3.创建目录快照



1.创建快照前,查看/data/mytest/data.dat文件内容

[ec2-user@ip-172-31-22-86 ~]$ sudo -u hdfs hadoop fs -cat /data/mytest/data.dattest1@#$test1name@#$test2value
test2@#$test2name@#$test2value
test3@#$test3name@#$test4value
[ec2-user@ip-172-31-22-86 ~]$

如何在CDH集群使用HDFS快照_数据_09


2.创建一个新的快照

如何在CDH集群使用HDFS快照_hadoop_10


快照创建成功

如何在CDH集群使用HDFS快照_数据_11

如何在CDH集群使用HDFS快照_hdfs_12


3.向/data/mytest/data.dat文件中追加内容

[ec2-user@ip-172-31-22-86 ~]$ more test.dat test4@#$test4name@#$test4value
test5@#$test5name@#$test5value
[ec2-user@ip-172-31-22-86 ~]$ hadoop fs -appendToFile test.dat /data/mytest/data.dat[ec2-user@ip-172-31-22-86 ~]$ hadoop fs -cat /data/mytest/data.dattest1@#$test1name@#$test2value
test2@#$test2name@#$test2value
test3@#$test3name@#$test4value
test4@#$test4name@#$test4value
test5@#$test5name@#$test5value
[ec2-user@ip-172-31-22-86 ~]$

如何在CDH集群使用HDFS快照_数据_13


4.在追加数据后再创建一个快照MySecondSnapshot

如何在CDH集群使用HDFS快照_hdfs_14

如何在CDH集群使用HDFS快照_数据_15


4.快照数据恢复



1.将/data/mytest/目录下的所有数据文件删除

[ec2-user@ip-172-31-22-86 ~]$ hadoop fs -rm -r /data/mytest/*17/10/18 21:57:24 INFO fs.TrashPolicyDefault: Moved: 'hdfs://ip-172-31-21-45.ap-southeast-1.compute.internal:8020/data/mytest/data.dat' to trash at: hdfs://ip-172-31-21-45.ap-southeast-1.compute.internal:8020/user/ec2-user/.Trash/Current/data/mytest/data.dat[ec2-user@ip-172-31-22-86 ~]$ hadoop fs -ls /data/mytest     [ec2-user@ip-172-31-22-86 ~]$

如何在CDH集群使用HDFS快照_hdfs_16

如何在CDH集群使用HDFS快照_hdfs_17


2.使用快照MyFirstSnapShot恢复数据

如何在CDH集群使用HDFS快照_hadoop_18


选择MyFirstSnapShot快照

如何在CDH集群使用HDFS快照_数据_19


还原快照

如何在CDH集群使用HDFS快照_数据_20


3.还原成功,验证数据

文件名称与文件大小与第一次快照时一致

如何在CDH集群使用HDFS快照_hdfs_21


文件内容与第一次快照时内容一致

如何在CDH集群使用HDFS快照_hadoop_22


4.删除/data/mytest/目录下所有数据

如何在CDH集群使用HDFS快照_数据_23

如何在CDH集群使用HDFS快照_hdfs_24


5.使用快照MySecondSnapshot恢复数据

如何在CDH集群使用HDFS快照_数据_25

如何在CDH集群使用HDFS快照_hdfs_26


6.还原成功数据正确性验证

文件名称与文件大小与第二次创建快照时一致

如何在CDH集群使用HDFS快照_hadoop_27


文件内容与第二次快照时内容一致

如何在CDH集群使用HDFS快照_hdfs_28


5.总结



  • HDFS快照的创建是瞬间的,取决于扫描文件目录的时间
  • HDFS快照占用很小的空间,但不是原始数据数据拷贝,快照只是记录了列表和文件的大小,相当于元数据信息,不会有数据复制。
  • 如果一个目录启用了快照功能,那么它的父目录和子目录都不允许再被设置快照。
  • 如果一个目录下已经存在快照,那么要删除该目录则必须先删除该目录的所有快照才能对目录进行删除和重命名操作。


为天地立心,为生民立命,为往圣继绝学,为万世开太平。

温馨提示:要看高清无码套图,请使用手机打开并单击图片放大查看。






推荐关注Hadoop实操,第一时间,分享更多Hadoop干货,欢迎转发和分享。

如何在CDH集群使用HDFS快照_hdfs_29

原创文章,欢迎转载,转载请注明:转载自微信公众号Hadoop实操


举报

相关推荐

0 条评论