0
点赞
收藏
分享

微信扫一扫

CL260 学习笔记(二)

Ceph 的安装与扩容

CL260 学习笔记(二)_CL260

CL260 学习笔记(二)_Ceph 的安装与扩容_02

CL260 学习笔记(二)_RHCS_03

CL260 学习笔记(二)_RHCS_04

CL260 学习笔记(二)_pacific_05

CL260 学习笔记(二)_CL260_06

CL260 学习笔记(二)_Ceph 的安装与扩容_07

CL260 学习笔记(二)_学习笔记_08

CL260 学习笔记(二)_CL260_09

CL260 学习笔记(二)_Ceph 的安装与扩容_10

CL260 学习笔记(二)_RHCS_11

CL260 学习笔记(二)_RHCS_12

CL260 学习笔记(二)_CL260_13

CL260 学习笔记(二)_Ceph 的安装与扩容_14

CL260 学习笔记(二)_CL260_15

CL260 学习笔记(二)_CL260_16

CL260 学习笔记(二)_Ceph 的安装与扩容_17

开源pacific版Ceph部署

CL260 学习笔记(二)_学习笔记_18

CL260 学习笔记(二)_pacific_19

部署手册:

https://min2000.lanzoul.com/iJHRg2a7rlmf

密码:CL260

CL260 学习笔记(二)_学习笔记_20

CL260 学习笔记(二)_CL260_21

CL260 学习笔记(二)_RHCS_22

CL260 学习笔记(二)_Ceph 的安装与扩容_23

CL260 学习笔记(二)_RHCS_24

CL260 学习笔记(二)_学习笔记_25

如果没有安装ceph-common,可以通过yum -y install ceph-common 安装,或通过下面这种方法,进入到容器,输入ceph 相关的命令,例如ceph -s 查看ceph 集群的状态:

CL260 学习笔记(二)_CL260_26

CL260 学习笔记(二)_pacific_27

CL260 学习笔记(二)_学习笔记_28

CL260 学习笔记(二)_学习笔记_29

CL260 学习笔记(二)_Ceph 的安装与扩容_30

CL260 学习笔记(二)_RHCS_31

CL260 学习笔记(二)_学习笔记_32

这是开机的时候自动执行的脚本,其实就是在启动容器。

CL260 学习笔记(二)_Ceph 的安装与扩容_33

CL260 学习笔记(二)_学习笔记_34

这样就可以看到mon 节点的日志。

CL260 学习笔记(二)_Ceph 的安装与扩容_35

CL260 学习笔记(二)_Ceph 的安装与扩容_36

运行容器的镜像。

CL260 学习笔记(二)_Ceph 的安装与扩容_37

CL260 学习笔记(二)_pacific_38

这是ceph 集群的配置数据。

CL260 学习笔记(二)_学习笔记_39

这是mon 的配置和它的keyring

CL260 学习笔记(二)_CL260_40

这个目录在ceph 集群排错的时候有用,中间那一串字母和数字的组合是集群的id,再下一级目录是节点的名称。

CL260 学习笔记(二)_学习笔记_41

CL260 学习笔记(二)_RHCS_42

yum -y install ceph-common
su - 

CL260 学习笔记(二)_RHCS_43

CL260 学习笔记(二)_CL260_44

CL260 学习笔记(二)_RHCS_45

CL260 学习笔记(二)_pacific_46

CL260 学习笔记(二)_pacific_47

CL260 学习笔记(二)_学习笔记_48

CL260 学习笔记(二)_RHCS_49

CL260 学习笔记(二)_Ceph 的安装与扩容_50

CL260 学习笔记(二)_CL260_51

CL260 学习笔记(二)_学习笔记_52

CL260 学习笔记(二)_学习笔记_53

CL260 学习笔记(二)_Ceph 的安装与扩容_54

CL260 学习笔记(二)_学习笔记_55

CL260 学习笔记(二)_学习笔记_56

每启动一个osd,物理机就多一个逻辑卷和容器。

CL260 学习笔记(二)_pacific_57

这条命令可以将集群内所有节点的未使用的磁盘做成osd

CL260 学习笔记(二)_pacific_58

CL260 学习笔记(二)_学习笔记_59

CL260 学习笔记(二)_Ceph 的安装与扩容_60

CL260 学习笔记(二)_pacific_61

这是ceph 服务端与客户端版本不一致导致出现这个告警,在生产环境中应尽量保持两者版本一致,也可以选择忽略这个告警。

CL260 学习笔记(二)_学习笔记_62

CL260 学习笔记(二)_学习笔记_63

CL260 学习笔记(二)_CL260_64

CL260 学习笔记(二)_学习笔记_65

CL260 学习笔记(二)_学习笔记_66

这个ceph 集群的pool 1 资源池是一个3 副本的复制池,这个pg 必须要能够选中3 个不同的节点的其中一个osd 上才能是active(可用)的状态。

CL260 学习笔记(二)_学习笔记_67

这里添加节点报错提示:名称或服务未知;

如果你运行ceph 集群的容器内部没有配置host 解析,这条命令在外部主机是不能够正确解析的,既然指定主机名不能解析,还可以在后面指定ip 地址:

CL260 学习笔记(二)_Ceph 的安装与扩容_68

CL260 学习笔记(二)_CL260_69

CL260 学习笔记(二)_pacific_70

CL260 学习笔记(二)_pacific_71

CL260 学习笔记(二)_Ceph 的安装与扩容_72

CL260 学习笔记(二)_CL260_73

CL260 学习笔记(二)_Ceph 的安装与扩容_74

CL260 学习笔记(二)_CL260_75

CL260 学习笔记(二)_学习笔记_76

CL260 学习笔记(二)_学习笔记_77

CL260 学习笔记(二)_pacific_78

CL260 学习笔记(二)_学习笔记_79

CL260 学习笔记(二)_学习笔记_80

CL260 学习笔记(二)_Ceph 的安装与扩容_81

CL260 学习笔记(二)_Ceph 的安装与扩容_82

添加mgr 节点中... 部署有点慢

CL260 学习笔记(二)_RHCS_83

CL260 学习笔记(二)_RHCS_84

CL260 学习笔记(二)_Ceph 的安装与扩容_85

CL260 学习笔记(二)_Ceph 的安装与扩容_86

CL260 学习笔记(二)_学习笔记_87

CL260 学习笔记(二)_RHCS_88

这样会变成默认数量。

CL260 学习笔记(二)_RHCS_89

CL260 学习笔记(二)_pacific_90

CL260 学习笔记(二)_pacific_91

CL260 学习笔记(二)_RHCS_92

CL260 学习笔记(二)_Ceph 的安装与扩容_93

CL260 学习笔记(二)_学习笔记_94

CL260 学习笔记(二)_RHCS_95

CL260 学习笔记(二)_Ceph 的安装与扩容_96

CL260 学习笔记(二)_Ceph 的安装与扩容_97

CL260 学习笔记(二)_CL260_98

CL260 学习笔记(二)_学习笔记_99

CL260 学习笔记(二)_学习笔记_100

CL260 学习笔记(二)_学习笔记_101

mgr 删不掉,就算提示删除成功,过一会儿又会重新部署回来;

因为mgr 开启了自动扩展,且必须部署在node2 和node3 上。

CL260 学习笔记(二)_RHCS_102

CL260 学习笔记(二)_CL260_103

CL260 学习笔记(二)_RHCS_104

CL260 学习笔记(二)_pacific_105

这样就删除成功了。

CL260 学习笔记(二)_RHCS_106

CL260 学习笔记(二)_pacific_107

CL260 学习笔记(二)_学习笔记_108

CL260 学习笔记(二)_CL260_109

CL260 学习笔记(二)_Ceph 的安装与扩容_110

CL260 学习笔记(二)_Ceph 的安装与扩容_111

CL260 学习笔记(二)_学习笔记_112

CL260 学习笔记(二)_CL260_113

CL260 学习笔记(二)_CL260_114

CL260 学习笔记(二)_pacific_115

CL260 学习笔记(二)_pacific_116

CL260 学习笔记(二)_pacific_117

CL260 学习笔记(二)_RHCS_118

CL260 学习笔记(二)_CL260_119

CL260 学习笔记(二)_Ceph 的安装与扩容_120

CL260 学习笔记(二)_RHCS_121

CL260 学习笔记(二)_学习笔记_122

CL260 学习笔记(二)_学习笔记_123

CL260 学习笔记(二)_pacific_124

CL260 学习笔记(二)_CL260_125

CL260 学习笔记(二)_pacific_126

这是已经从osdmap 里面删除了,接着从crushmap 里面删除这个osd

CL260 学习笔记(二)_pacific_127

CL260 学习笔记(二)_pacific_128

CL260 学习笔记(二)_Ceph 的安装与扩容_129

CL260 学习笔记(二)_CL260_130

所以从ceph 集群里面移除一个osd,要先从osdmap 里面删,再从crushmap里面删;

但是移除下来的磁盘,是否就能够直接正常使用了呢?

lsblk

CL260 学习笔记(二)_Ceph 的安装与扩容_131

CL260 学习笔记(二)_pacific_132

CL260 学习笔记(二)_pacific_133

CL260 学习笔记(二)_学习笔记_134

CL260 学习笔记(二)_RHCS_135

CL260 学习笔记(二)_CL260_136

CL260 学习笔记(二)_Ceph 的安装与扩容_137

CL260 学习笔记(二)_CL260_138

CL260 学习笔记(二)_pacific_139

CL260 学习笔记(二)_学习笔记_140

CL260 学习笔记(二)_学习笔记_141

日志没有看到明显报错

CL260 学习笔记(二)_学习笔记_142

容器没有起来,原因很简单,就是硬盘不干净

CL260 学习笔记(二)_学习笔记_143

CL260 学习笔记(二)_pacific_144

CL260 学习笔记(二)_pacific_145

CL260 学习笔记(二)_学习笔记_146

CL260 学习笔记(二)_RHCS_147

这样就把磁盘擦除干净了。

CL260 学习笔记(二)_Ceph 的安装与扩容_148

CL260 学习笔记(二)_RHCS_149

CL260 学习笔记(二)_pacific_150

CL260 学习笔记(二)_RHCS_151

CL260 学习笔记(二)_学习笔记_152

CL260 学习笔记(二)_CL260_153

CL260 学习笔记(二)_Ceph 的安装与扩容_154

CL260 学习笔记(二)_pacific_155

CL260 学习笔记(二)_CL260_156

CL260 学习笔记(二)_Ceph 的安装与扩容_157

CL260 学习笔记(二)_RHCS_158

CL260 学习笔记(二)_学习笔记_159

容器的进程已经移除了,集群还没有反应过来,需要等待一段时间恢复正常状态。

CL260 学习笔记(二)_CL260_160

CL260 学习笔记(二)_CL260_161

CL260 学习笔记(二)_pacific_162

CL260 学习笔记(二)_Ceph 的安装与扩容_163

CL260 学习笔记(二)_学习笔记_164

CL260 学习笔记(二)_CL260_165

CL260 学习笔记(二)_学习笔记_166

CL260 学习笔记(二)_RHCS_167

CL260 学习笔记(二)_pacific_168

还需要等待一段时间自动从node2 上删除mgr

CL260 学习笔记(二)_Ceph 的安装与扩容_169

_admin 标签打给管理节点,对于集群来说没有任何特殊的含义,只是方便给管理员看的,通常部署ceph 集群的第一个节点称为管理节点,每个节点也都可以成为管理节点,它有一个专门的客户端工具可以连接上来管理ceph 集群;一个节点可以打上多个标签。

RHCS 5.0 部署

CL260 学习笔记(二)_RHCS_170

CL260 学习笔记(二)_Ceph 的安装与扩容_171

CL260 学习笔记(二)_CL260_172

将红帽教室环境中已经存在的rhcs 集群销毁。

CL260 学习笔记(二)_CL260_173

CL260 学习笔记(二)_Ceph 的安装与扩容_174

在生产环境上,红帽的rhcs 源是收费的, 它的baseurl 肯定不是这个图中的这个url,这只是一个教室环境,用来学习实验的,这个repo 源其实是通过一个ansible playbook 自动配置得到的。

CL260 学习笔记(二)_pacific_175

CL260 学习笔记(二)_Ceph 的安装与扩容_176

CL260 学习笔记(二)_pacific_177

CL260 学习笔记(二)_Ceph 的安装与扩容_178

CL260 学习笔记(二)_CL260_179

CL260 学习笔记(二)_CL260_180

CL260 学习笔记(二)_Ceph 的安装与扩容_181

CL260 学习笔记(二)_RHCS_182

CL260 学习笔记(二)_RHCS_183

CL260 学习笔记(二)_RHCS_184

CL260 学习笔记(二)_RHCS_185

CL260 学习笔记(二)_Ceph 的安装与扩容_186

CL260 学习笔记(二)_pacific_187

CL260 学习笔记(二)_RHCS_188

CL260 学习笔记(二)_Ceph 的安装与扩容_189

CL260 学习笔记(二)_pacific_190

CL260 学习笔记(二)_RHCS_191

CL260 学习笔记(二)_pacific_192

CL260 学习笔记(二)_Ceph 的安装与扩容_193

CL260 学习笔记(二)_RHCS_194

CL260 学习笔记(二)_pacific_195

CL260 学习笔记(二)_RHCS_196

CL260 学习笔记(二)_Ceph 的安装与扩容_197

CL260 学习笔记(二)_CL260_198

这里是关闭mon 组件的自扩展功能,由管理员手动管理。

CL260 学习笔记(二)_CL260_199

CL260 学习笔记(二)_CL260_200

CL260 学习笔记(二)_pacific_201

CL260 学习笔记(二)_CL260_202

CL260 学习笔记(二)_RHCS_203

CL260 学习笔记(二)_RHCS_204

CL260 学习笔记(二)_学习笔记_205

CL260 学习笔记(二)_Ceph 的安装与扩容_206

CL260 学习笔记(二)_Ceph 的安装与扩容_207

CL260 学习笔记(二)_pacific_208

CL260 学习笔记(二)_pacific_209

CL260 学习笔记(二)_学习笔记_210

CL260 学习笔记(二)_pacific_211

CL260 学习笔记(二)_RHCS_212

CL260 学习笔记(二)_学习笔记_213

CL260 学习笔记(二)_CL260_214

CL260 学习笔记(二)_RHCS_215

CL260 学习笔记(二)_RHCS_216

CL260 学习笔记(二)_pacific_217

CL260 学习笔记(二)_CL260_218

CL260 学习笔记(二)_RHCS_219

CL260 学习笔记(二)_Ceph 的安装与扩容_220

CL260 学习笔记(二)_pacific_221

当前3 个osd 都在同一台主机上,这个pg 只能选中这个节点上的其中一个osd,默认的资源池是副本池,需要有几个主机上的osd 加入资源池才可以用,所以这个pg 变成不可用的状态,资源池降级了。

CL260 学习笔记(二)_学习笔记_222

CL260 学习笔记(二)_学习笔记_223

使用cephadm 这种部署方式,还可以指定这样一个参数,准备好一个playbook,把要加入的节点的主机名和ip 地址都写进去,在部署的时候就可以把你想要加入的节点加入进来,这在开源的版本同样支持,只是很少有人这样做。

CL260 学习笔记(二)_CL260_224


举报

相关推荐

0 条评论