0

点赞

收藏

分享

CL260 学习笔记（二）

钟罗敏 2024-09-20 阅读 6

标签: Ceph 的安装与扩容学习笔记 CL260 RHCS pacific 运维

Ceph 的安装与扩容

CL260 学习笔记（二）_CL260

CL260 学习笔记（二）_Ceph 的安装与扩容_02

CL260 学习笔记（二）_RHCS_03

CL260 学习笔记（二）_RHCS_04

CL260 学习笔记（二）_pacific_05

CL260 学习笔记（二）_CL260_06

CL260 学习笔记（二）_Ceph 的安装与扩容_07

CL260 学习笔记（二）_学习笔记_08

CL260 学习笔记（二）_CL260_09

CL260 学习笔记（二）_Ceph 的安装与扩容_10

CL260 学习笔记（二）_RHCS_11

CL260 学习笔记（二）_RHCS_12

CL260 学习笔记（二）_CL260_13

CL260 学习笔记（二）_Ceph 的安装与扩容_14

CL260 学习笔记（二）_CL260_15

CL260 学习笔记（二）_CL260_16

CL260 学习笔记（二）_Ceph 的安装与扩容_17

开源pacific版Ceph部署

CL260 学习笔记（二）_学习笔记_18

CL260 学习笔记（二）_pacific_19

部署手册：

https://min2000.lanzoul.com/iJHRg2a7rlmf

密码:CL260

CL260 学习笔记（二）_学习笔记_20

CL260 学习笔记（二）_CL260_21

CL260 学习笔记（二）_RHCS_22

CL260 学习笔记（二）_Ceph 的安装与扩容_23

CL260 学习笔记（二）_RHCS_24

CL260 学习笔记（二）_学习笔记_25

如果没有安装ceph-common，可以通过yum -y install ceph-common 安装，或通过下面这种方法，进入到容器，输入ceph 相关的命令，例如ceph -s 查看ceph 集群的状态：

CL260 学习笔记（二）_CL260_26

CL260 学习笔记（二）_pacific_27

CL260 学习笔记（二）_学习笔记_28

CL260 学习笔记（二）_学习笔记_29

CL260 学习笔记（二）_Ceph 的安装与扩容_30

CL260 学习笔记（二）_RHCS_31

CL260 学习笔记（二）_学习笔记_32

这是开机的时候自动执行的脚本，其实就是在启动容器。

CL260 学习笔记（二）_Ceph 的安装与扩容_33

CL260 学习笔记（二）_学习笔记_34

这样就可以看到mon 节点的日志。

CL260 学习笔记（二）_Ceph 的安装与扩容_35

CL260 学习笔记（二）_Ceph 的安装与扩容_36

运行容器的镜像。

CL260 学习笔记（二）_Ceph 的安装与扩容_37

CL260 学习笔记（二）_pacific_38

这是ceph 集群的配置数据。

CL260 学习笔记（二）_学习笔记_39

这是mon 的配置和它的keyring

CL260 学习笔记（二）_CL260_40

这个目录在ceph 集群排错的时候有用，中间那一串字母和数字的组合是集群的id，再下一级目录是节点的名称。

CL260 学习笔记（二）_学习笔记_41

CL260 学习笔记（二）_RHCS_42

yum -y install ceph-common
su -

CL260 学习笔记（二）_RHCS_43

CL260 学习笔记（二）_CL260_44

CL260 学习笔记（二）_RHCS_45

CL260 学习笔记（二）_pacific_46

CL260 学习笔记（二）_pacific_47

CL260 学习笔记（二）_学习笔记_48

CL260 学习笔记（二）_RHCS_49

CL260 学习笔记（二）_Ceph 的安装与扩容_50

CL260 学习笔记（二）_CL260_51

CL260 学习笔记（二）_学习笔记_52

CL260 学习笔记（二）_学习笔记_53

CL260 学习笔记（二）_Ceph 的安装与扩容_54

CL260 学习笔记（二）_学习笔记_55

CL260 学习笔记（二）_学习笔记_56

每启动一个osd，物理机就多一个逻辑卷和容器。

CL260 学习笔记（二）_pacific_57

这条命令可以将集群内所有节点的未使用的磁盘做成osd

CL260 学习笔记（二）_pacific_58

CL260 学习笔记（二）_学习笔记_59

CL260 学习笔记（二）_Ceph 的安装与扩容_60

CL260 学习笔记（二）_pacific_61

这是ceph 服务端与客户端版本不一致导致出现这个告警，在生产环境中应尽量保持两者版本一致，也可以选择忽略这个告警。

CL260 学习笔记（二）_学习笔记_62

CL260 学习笔记（二）_学习笔记_63

CL260 学习笔记（二）_CL260_64

CL260 学习笔记（二）_学习笔记_65

CL260 学习笔记（二）_学习笔记_66

这个ceph 集群的pool 1 资源池是一个3 副本的复制池，这个pg 必须要能够选中3 个不同的节点的其中一个osd 上才能是active（可用）的状态。

CL260 学习笔记（二）_学习笔记_67

这里添加节点报错提示：名称或服务未知；

如果你运行ceph 集群的容器内部没有配置host 解析，这条命令在外部主机是不能够正确解析的，既然指定主机名不能解析，还可以在后面指定ip 地址：

CL260 学习笔记（二）_Ceph 的安装与扩容_68

CL260 学习笔记（二）_CL260_69

CL260 学习笔记（二）_pacific_70

CL260 学习笔记（二）_pacific_71

CL260 学习笔记（二）_Ceph 的安装与扩容_72

CL260 学习笔记（二）_CL260_73

CL260 学习笔记（二）_Ceph 的安装与扩容_74

CL260 学习笔记（二）_CL260_75

CL260 学习笔记（二）_学习笔记_76

CL260 学习笔记（二）_学习笔记_77

CL260 学习笔记（二）_pacific_78

CL260 学习笔记（二）_学习笔记_79

CL260 学习笔记（二）_学习笔记_80

CL260 学习笔记（二）_Ceph 的安装与扩容_81

CL260 学习笔记（二）_Ceph 的安装与扩容_82

添加mgr 节点中... 部署有点慢

CL260 学习笔记（二）_RHCS_83

CL260 学习笔记（二）_RHCS_84

CL260 学习笔记（二）_Ceph 的安装与扩容_85

CL260 学习笔记（二）_Ceph 的安装与扩容_86

CL260 学习笔记（二）_学习笔记_87

CL260 学习笔记（二）_RHCS_88

这样会变成默认数量。

CL260 学习笔记（二）_RHCS_89

CL260 学习笔记（二）_pacific_90

CL260 学习笔记（二）_pacific_91

CL260 学习笔记（二）_RHCS_92

CL260 学习笔记（二）_Ceph 的安装与扩容_93

CL260 学习笔记（二）_学习笔记_94

CL260 学习笔记（二）_RHCS_95

CL260 学习笔记（二）_Ceph 的安装与扩容_96

CL260 学习笔记（二）_Ceph 的安装与扩容_97

CL260 学习笔记（二）_CL260_98

CL260 学习笔记（二）_学习笔记_99

CL260 学习笔记（二）_学习笔记_100

CL260 学习笔记（二）_学习笔记_101

mgr 删不掉，就算提示删除成功，过一会儿又会重新部署回来；

因为mgr 开启了自动扩展，且必须部署在node2 和node3 上。

CL260 学习笔记（二）_RHCS_102

CL260 学习笔记（二）_CL260_103

CL260 学习笔记（二）_RHCS_104

CL260 学习笔记（二）_pacific_105

这样就删除成功了。

CL260 学习笔记（二）_RHCS_106

CL260 学习笔记（二）_pacific_107

CL260 学习笔记（二）_学习笔记_108

CL260 学习笔记（二）_CL260_109

CL260 学习笔记（二）_Ceph 的安装与扩容_110

CL260 学习笔记（二）_Ceph 的安装与扩容_111

CL260 学习笔记（二）_学习笔记_112

CL260 学习笔记（二）_CL260_113

CL260 学习笔记（二）_CL260_114

CL260 学习笔记（二）_pacific_115

CL260 学习笔记（二）_pacific_116

CL260 学习笔记（二）_pacific_117

CL260 学习笔记（二）_RHCS_118

CL260 学习笔记（二）_CL260_119

CL260 学习笔记（二）_Ceph 的安装与扩容_120

CL260 学习笔记（二）_RHCS_121

CL260 学习笔记（二）_学习笔记_122

CL260 学习笔记（二）_学习笔记_123

CL260 学习笔记（二）_pacific_124

CL260 学习笔记（二）_CL260_125

CL260 学习笔记（二）_pacific_126

这是已经从osdmap 里面删除了，接着从crushmap 里面删除这个osd

CL260 学习笔记（二）_pacific_127

CL260 学习笔记（二）_pacific_128

CL260 学习笔记（二）_Ceph 的安装与扩容_129

CL260 学习笔记（二）_CL260_130

所以从ceph 集群里面移除一个osd，要先从osdmap 里面删，再从crushmap里面删；

但是移除下来的磁盘，是否就能够直接正常使用了呢？

lsblk

CL260 学习笔记（二）_Ceph 的安装与扩容_131

CL260 学习笔记（二）_pacific_132

CL260 学习笔记（二）_pacific_133

CL260 学习笔记（二）_学习笔记_134

CL260 学习笔记（二）_RHCS_135

CL260 学习笔记（二）_CL260_136

CL260 学习笔记（二）_Ceph 的安装与扩容_137

CL260 学习笔记（二）_CL260_138

CL260 学习笔记（二）_pacific_139

CL260 学习笔记（二）_学习笔记_140

CL260 学习笔记（二）_学习笔记_141

日志没有看到明显报错

CL260 学习笔记（二）_学习笔记_142

容器没有起来，原因很简单，就是硬盘不干净

CL260 学习笔记（二）_学习笔记_143

CL260 学习笔记（二）_pacific_144

CL260 学习笔记（二）_pacific_145

CL260 学习笔记（二）_学习笔记_146

CL260 学习笔记（二）_RHCS_147

这样就把磁盘擦除干净了。

CL260 学习笔记（二）_Ceph 的安装与扩容_148

CL260 学习笔记（二）_RHCS_149

CL260 学习笔记（二）_pacific_150

CL260 学习笔记（二）_RHCS_151

CL260 学习笔记（二）_学习笔记_152

CL260 学习笔记（二）_CL260_153

CL260 学习笔记（二）_Ceph 的安装与扩容_154

CL260 学习笔记（二）_pacific_155

CL260 学习笔记（二）_CL260_156

CL260 学习笔记（二）_Ceph 的安装与扩容_157

CL260 学习笔记（二）_RHCS_158

CL260 学习笔记（二）_学习笔记_159

容器的进程已经移除了，集群还没有反应过来，需要等待一段时间恢复正常状态。

CL260 学习笔记（二）_CL260_160

CL260 学习笔记（二）_CL260_161

CL260 学习笔记（二）_pacific_162

CL260 学习笔记（二）_Ceph 的安装与扩容_163

CL260 学习笔记（二）_学习笔记_164

CL260 学习笔记（二）_CL260_165

CL260 学习笔记（二）_学习笔记_166

CL260 学习笔记（二）_RHCS_167

CL260 学习笔记（二）_pacific_168

还需要等待一段时间自动从node2 上删除mgr

CL260 学习笔记（二）_Ceph 的安装与扩容_169

_admin 标签打给管理节点，对于集群来说没有任何特殊的含义，只是方便给管理员看的，通常部署ceph 集群的第一个节点称为管理节点，每个节点也都可以成为管理节点，它有一个专门的客户端工具可以连接上来管理ceph 集群；一个节点可以打上多个标签。

RHCS 5.0 部署

CL260 学习笔记（二）_RHCS_170

CL260 学习笔记（二）_Ceph 的安装与扩容_171

CL260 学习笔记（二）_CL260_172

将红帽教室环境中已经存在的rhcs 集群销毁。

CL260 学习笔记（二）_CL260_173

CL260 学习笔记（二）_Ceph 的安装与扩容_174

在生产环境上，红帽的rhcs 源是收费的，它的baseurl 肯定不是这个图中的这个url，这只是一个教室环境，用来学习实验的，这个repo 源其实是通过一个ansible playbook 自动配置得到的。

CL260 学习笔记（二）_pacific_175

CL260 学习笔记（二）_Ceph 的安装与扩容_176

CL260 学习笔记（二）_pacific_177

CL260 学习笔记（二）_Ceph 的安装与扩容_178

CL260 学习笔记（二）_CL260_179

CL260 学习笔记（二）_CL260_180

CL260 学习笔记（二）_Ceph 的安装与扩容_181

CL260 学习笔记（二）_RHCS_182

CL260 学习笔记（二）_RHCS_183

CL260 学习笔记（二）_RHCS_184

CL260 学习笔记（二）_RHCS_185

CL260 学习笔记（二）_Ceph 的安装与扩容_186

CL260 学习笔记（二）_pacific_187

CL260 学习笔记（二）_RHCS_188

CL260 学习笔记（二）_Ceph 的安装与扩容_189

CL260 学习笔记（二）_pacific_190

CL260 学习笔记（二）_RHCS_191

CL260 学习笔记（二）_pacific_192

CL260 学习笔记（二）_Ceph 的安装与扩容_193

CL260 学习笔记（二）_RHCS_194

CL260 学习笔记（二）_pacific_195

CL260 学习笔记（二）_RHCS_196

CL260 学习笔记（二）_Ceph 的安装与扩容_197

CL260 学习笔记（二）_CL260_198

这里是关闭mon 组件的自扩展功能，由管理员手动管理。

CL260 学习笔记（二）_CL260_199

CL260 学习笔记（二）_CL260_200

CL260 学习笔记（二）_pacific_201

CL260 学习笔记（二）_CL260_202

CL260 学习笔记（二）_RHCS_203

CL260 学习笔记（二）_RHCS_204

CL260 学习笔记（二）_学习笔记_205

CL260 学习笔记（二）_Ceph 的安装与扩容_206

CL260 学习笔记（二）_Ceph 的安装与扩容_207

CL260 学习笔记（二）_pacific_208

CL260 学习笔记（二）_pacific_209

CL260 学习笔记（二）_学习笔记_210

CL260 学习笔记（二）_pacific_211

CL260 学习笔记（二）_RHCS_212

CL260 学习笔记（二）_学习笔记_213

CL260 学习笔记（二）_CL260_214

CL260 学习笔记（二）_RHCS_215

CL260 学习笔记（二）_RHCS_216

CL260 学习笔记（二）_pacific_217

CL260 学习笔记（二）_CL260_218

CL260 学习笔记（二）_RHCS_219

CL260 学习笔记（二）_Ceph 的安装与扩容_220

CL260 学习笔记（二）_pacific_221

当前3 个osd 都在同一台主机上，这个pg 只能选中这个节点上的其中一个osd，默认的资源池是副本池，需要有几个主机上的osd 加入资源池才可以用，所以这个pg 变成不可用的状态，资源池降级了。

CL260 学习笔记（二）_学习笔记_222

CL260 学习笔记（二）_学习笔记_223

使用cephadm 这种部署方式，还可以指定这样一个参数，准备好一个playbook，把要加入的节点的主机名和ip 地址都写进去，在部署的时候就可以把你想要加入的节点加入进来，这在开源的版本同样支持，只是很少有人这样做。

CL260 学习笔记（二）_CL260_224

0 条评论

关注