0
点赞
收藏
分享

微信扫一扫

CentOS7-ELK集群搭建

影子喵喵喵 2022-03-30 阅读 78

文章目录

1.准备(集群所有节点)

IPHostnameElasticsearchKibanaLogstash
192.168.120.104yellow.elkES(master or data)kibanalogstash
192.168.120.105blue.elkES(master or data)Nonelogstash
192.168.120.106green.elkES(master or data)Nonelogstash
服务版本
Elasticsearch7.15.2
Kibana7.15.2
Logstash7.15.2
# 操作系统信息
[root@yellow ~]# cat /etc/redhat-release 
CentOS Linux release 7.8.2003 (Core)
[root@yellow ~]# uname -r
3.10.0-1127.el7.x86_64
[root@yellow ~]#

# 关闭防火墙
systemctl stop firewalld
systemctl disable firewalld

# 关闭 NetworkManager
systemctl stop NetworkManager
systemctl disable NetworkManager

# 关闭SELINUX
sed -i 's/SELINUX=enforcing/SELINUX=disabled/' /etc/selinux/config
grep SELINUX=disabled /etc/selinux/config
setenforce 0

# 设置epel源
wget http://mirrors.aliyun.com/epel/epel-release-latest-7.noarch.rpm
yum install epel-release-latest-7.noarch.rpm -y

vim /etc/security/limits.conf	# 修改配置
* soft nofile 655360
* hard nofile 655360
* soft nproc 32000
* hard nproc 32000
* hard memlock unlimited
* soft memlock unlimited

vim /etc/systemd/system.conf
DefaultLimitNOFILE=65536
DefaultLimitNPROC=32000
DefaultLimitMEMLOCK=infinity

vim /etc/sysctl.conf	# 修改配置
vm.max_map_count=655360
sysctl -p	# 使配置生效

# 更新系统并重启
yum update -y && reboot

1.1 安装JDK(集群所有节点)

# 卸载jdk
rpm -qa | grep -i java | xargs -n1 sudo rpm -e --nodeps
# 解压
tar -zxvf jdk-11.0.13_linux-x64_bin.tar.gz && mv jdk-11.0.13 /usr/local/jdk11
# 配置环境变量
vim /etc/profile
export JAVA_HOME=/usr/local/jdk11
export JRE_HOME=$JAVA_HOME
export ES_JAVA_HOME=$JAVA_HOME
export CLASSPATH=.:$JAVA_HOME/lib
export PATH=$PATH:$JAVA_HOME/bin

source /etc/profile	# 使环境变量生效

java --version	# 查看是否配置成功
echo $JAVA_HOME	# 查看是否配置成功
echo $ES_JAVA_HOME

# 设置快速软链接
ln -s /usr/local/jdk11/bin/java /usr/local/bin/java

2.Elasticsearch搭建

2.1 ES下载

一般下载最新版本半年前的版本:https://www.elastic.co/cn/downloads/past-releases#elasticsearch
在这里插入图片描述
本次下载的版本:7.15.2 RPM包
在这里插入图片描述
在这里插入图片描述

2.2 安装(集群所有节点)

# 把ES的RPM包上传到集群的所有节点,执行yum安装
yum localinstall elasticsearch-7.15.2-x86_64.rpm -y

# 查看安装路径
[root@yellow ~]# rpm -qa | grep elasticsearch
elasticsearch-7.15.2-1.x86_64
[root@yellow ~]# rpm -ql elasticsearch-7.15.2-1.x86_64 > espath.txt
# 查看 espath.txt 的内容

# 查看配置文件
[root@yellow ~]# rpm -qc elasticsearch-7.15.2-1.x86_64
/etc/elasticsearch/elasticsearch.yml
/etc/elasticsearch/jvm.options
/etc/elasticsearch/log4j2.properties
/etc/elasticsearch/role_mapping.yml
/etc/elasticsearch/roles.yml
/etc/elasticsearch/users
/etc/elasticsearch/users_roles
/etc/init.d/elasticsearch
/etc/sysconfig/elasticsearch
/usr/lib/sysctl.d/elasticsearch.conf
/usr/lib/systemd/system/elasticsearch.service

2.3 修改配置文件(集群所有节点)

vim /etc/elasticsearch/elasticsearch.yml
# ES集群名称,集群节点要配置相同
cluster.name: myes
# 节点名称
node.name: yellow.elk
# 是不是有资格成为主节点
node.master: true
# 是否存储数据
node.data: true
# 最大集群节点数
node.max_local_storage_nodes: 3
# 数据存储的目录(多个目录使用逗号分隔)
path.data: /var/lib/elasticsearch
# 日志目录
path.logs: /var/log/elasticsearch
# 锁住es内存,保证内存不分配至交换分区
bootstrap.memory_lock: true
# 设置本机IP地址,绑定本机IP, 否则不能远程访问
network.host: 192.168.120.104
# 端口默认9200
http.port: 9200
# 内部节点之间沟通端⼝
transport.tcp.port: 9300
# 写入候选主节点的设备地址,在开启服务后可以被选为主节点
discovery.seed_hosts: ["yellow.elk:9300", "blue.elk:9300", "green.elk:9300"]
# 初始化一个新的集群时需要此配置来选举master
cluster.initial_master_nodes: ["yellow.elk", "blue.elk", "green.elk"]

# 每隔多长时间ping一个node
# master选举/节点间通讯超时时间(这个时间的配置需要根据实际情况设置)
discovery.zen.fd.ping_interval: 30s
# 每次ping的超时时间
discovery.zen.fd.ping_timeout: 120s
# 一个node被ping多少次失败就认为是故障了
discovery.zen.fd.ping_retries: 6

# 集群脑裂问题参数配置
# elasticsearch则可以配置返回消息的节点数量, 一般情况下会配置(n/2 + 1)个节点
discovery.zen.minimum_master_nodes: 2
# 多少个节点启动后就可以组成集群
gateway.recover_after_nodes: 2
# 期望多少个节点联通之后才开始分配shard
gateway.expected_nodes: 3
# 超时时间
gateway.recover_after_time: 1m
node.ingest: true
http.cors.enabled: true
http.cors.allow-origin: true

# 保证存放数据的目录有对应权限
chown -R elasticsearch:elasticsearch /var/lib/elasticsearch

2.4 启动服务(集群所有节点)

# 启动
systemctl start elasticsearch
# 设置开机启动
systemctl enable elasticsearch

# 检测
http://192.168.120.104:9200/
http://192.168.120.105:9200/
http://192.168.120.106:9200/

在这里插入图片描述

# 查看集群状况
http://192.168.120.104:9200/_cat/health?v

在这里插入图片描述

3.Kibana搭建

# 在 yellow.elk 节点搭建Kibana
https://www.elastic.co/cn/downloads/kibana

# 安装
yum install kibana-7.15.2-x86_64.rpm -y

# 配置
vim /etc/kibana/kibana.yml
server.publicBaseUrl: "http://192.168.120.104:5601"
server.port: 5601
server.host: "0.0.0.0"
elasticsearch.hosts: ["http://192.168.120.104:9200"]
kibana.index: ".kibana"
i18n.locale: "zh-CN"

在这里插入图片描述

# 启动
systemctl start kibana
systemctl enable kibana

在这里插入图片描述

# 访问
http://192.168.120.104:5601/

在这里插入图片描述

4.Logstash搭建

# 集群系统时区设置,方法1:
yum install ntpdate -y && ntpdate time1.aliyun.com &&  timedatectl set-timezone Asia/Shanghai
# 集群系统时区设置,方法2:
https://blog.csdn.net/Happy_Sunshine_Boy/article/details/89917443

# Logstash下载
https://www.elastic.co/cn/downloads/past-releases#logstash

# 安装
yum install logstash-7.15.2-x86_64.rpm -y

# 修改配置文件
cd /etc/logstash
cp logstash-sample.conf syslog.conf
vim syslog.conf
# 自定义日志源
input {
  syslog {
    type => "system-syslog"     # 定义类型
    port => 10514               # 定义监听端口 
  }
}
# 定义日志输出
output {
  elasticsearch {
    hosts => ["http://192.168.120.104:9200"]    # 定义es服务器的ip
    index => "system-syslog-%{+YYYY.MM.dd}" # 定义索引
    #index => "%{[@metadata][beat]}-%{[@metadata][version]}-%{+YYYY.MM.dd}" # 定义索引
    #user => "elastic"
    #password => "changeme"
  }
}

# 检测该项配置是否成功
/usr/share/logstash/bin/logstash --path.settings /etc/logstash -f /etc/logstash/syslog.conf --config.test_and_exit

# 设置ip
vim logstash.yml
http.host: 192.168.120.104

# 启动
systemctl start logstash
systemctl enable logstash

在这里插入图片描述
在这里插入图片描述

举报

相关推荐

0 条评论