目录
2.1.6 安装 Elasticsearch-head 插件
3.安装 Elasticsearch-head 数据可视化工具
6.通过 Elasticsearch-head 查看 Elasticsearch 信息
2.3.4 将nginx服务器的日志(访问的、错误的)添加到 Elasticsearch 并通过 Kibana 显示
1.ELK
1.1 ELK简介
ELK是Elasticsearch、Logstash、Kibana三大开源框架首字母大写简称,但是filebeat可以用来替代logstash的数据收集功能,比较轻量级。市面上也被称为Elastic Stack。
1.2 ELK组件
ElasticSearch:是基于Lucene(一个全文检索引擎的架构)开发的分布式存储检索引擎,用来存储各类日志。
Elasticsearch 是用 Java 开发的,可通过 RESTful Web 接口,让用户可以通过浏览器与 Elasticsearch 通信。
Elasticsearch是一个实时的、分布式的可扩展的搜索引擎,允许进行全文、结构化搜索,它通常用于索引和搜索大容量的日志数据,也可用于搜索许多不同类型的文档。
Kiabana:Kibana 通常与 Elasticsearch 一起部署,Kibana 是 Elasticsearch 的一个功能强大的数据可视化 Dashboard,Kibana 提供图形化的 web 界面来浏览 Elasticsearch 日志数据,可以用来汇总、分析和搜索重要数据。
Logstash:作为数据收集引擎。它支持动态的从各种数据源搜集数据,并对数据进行过滤、分析、丰富、统一格式等操作,然后存储到用户指定的位置,一般会发送给 Elasticsearch。
Logstash 由 Ruby 语言编写,运行在 Java 虚拟机(JVM)上,是一款强大的数据处理工具, 可以实现数据传输、格式处理、格式化输出。Logstash 具有强大的插件功能,常用于日志处理。
可以添加的其它组件:
Filebeat:轻量级的开源日志文件数据搜集器。通常在需要采集数据的客户端安装 Filebeat,并指定目录与日志格式,Filebeat 就能快速收集数据,并发送给 logstash 进行解析,或是直接发给 Elasticsearch 存储,性能上相比运行于 JVM 上的 logstash 优势明显,是对它的替代。常应用于 EFLK 架构当中。
filebeat 结合 logstash 带来好处:
- 通过 Logstash 具有基于磁盘的自适应缓冲系统,该系统会吸收传入的吞吐量,从而减轻 Elasticsearch 持续写入数据的压力
- 从其他数据源(例如数据库,S3对象存储或消息传递队列)中提取
- 将数据发送到多个目的地,例如S3,HDFS(Hadoop分布式文件系统)或写入文件
- 使用条件数据流逻辑组成更复杂的处理管道
缓存/消息队列(Redis、Kafka、RabbitMQ等):可以对高并发日志数据进行流量削峰和缓冲,这样的缓冲可以一定程度的保护数据不丢失,还可以对整个架构进行应用解耦。
Fluentd:是一个流行的开源数据收集器。由于 Logstash 太重量级的缺点,Logstash 性能低、资源消耗比较多等问题,随后就有 Fluentd 的出现。相比较 Logstash,Fluentd 更易用、资源消耗更少、性能更高,在数据处理上更高效可靠,受到企业欢迎,成为 Logstash 的一种替代方案,常应用于 EFK 架构当中。在 Kubernetes 集群中也常使用 EFK 作为日志数据收集的方案
1.3 ELK的优点
实时数据分析
ELK提供了实时的数据分析和查询能力,使你能够快速了解数据中的趋势、模式和异常情况。通过强大的查询语言和灵活的可视化工具,你可以轻松地发现和探索数据中的见解。
可扩展性
ELK的组件都是分布式的,可以通过添加更多的节点来实现水平扩展。这使得ELK能够处理大规模的数据集和高并发的查询请求。
高性能搜索
Elasticsearch作为ELK的核心组件,具有强大的排索和索引功能。它可以快速地执行全文搜索和复杂的查询并返回准确的结果。
统一数据处理
通过使用Logstash作为数据收集和转换工具,ELK能够处理来自不同来源的数据,并将其转换为一致的格式。这使得数据在存储和分析阶段更易管理和理解。
1.4 为什么要使用ELK?
日志主要包括系统日志、应用程序日志和安全日志。系统运维和开发人员可以通过日志了解服务器软硬件信息、检查配置过程中的错误及错误发生的原因。经常分析日志可以了解服务器的负荷,性能安全性,从而及时采取措施纠正错误。
往往单台机器的日志我们使用grep、awk等工具就能基本实现简单分析,但是当日志被分散存储在不同的设备上。如果你管理数十上百台服务器,你还在使用依次登录每台机器的传统方法查阅日志。这样是不是感觉很繁琐和效率低下。当务之急我们使用集中化的日志管理,例如:开源的rsyslog,将所有服务器上的日志收集汇总。集中化管理日志后,日志的统计和检索又成为一件比较麻烦的事情,一般我们使用grep、awk和wc等Linux命令能实现检索和统计,但是对于要求更高的查询、排序和统计等要求和庞大的机器数量依然使用这样的方法难免有点力不从心。
一般大型系统是一个分布式部署的架构,不同的服务模块部署在不同的服务器上,问题出现时,大部分情况需要根据问题暴露的关键信息,定位到具体的服务器和服务模块,构建一套集中式日志系统,可以提高定位问题的效率。
1.5 完整日志系统基本特征
收集:能够采集多种来源的日志数据
传输:能够稳定的把日志数据解析过滤并传输到存储系统
存储:存储日志数据
分析:支持 UI 分析
警告:能够提供错误报告,监控机制
1.6 ELK 的工作原理:
在所有需要收集日志的服务器上部署Logstash;或者先将日志进行集中化管理在日志服务器上,在日志服务器上部署 Logstash
Logstash 收集日志,将日志格式化并输出到 Elasticsearch 群集中
Elasticsearch 对格式化后的数据进行索引和存储
Kibana 从 ES 群集中查询数据生成图表,并进行前端数据的展示
总结:logstash作为日志搜集器,从数据源采集数据,并对数据进行过滤,格式化处理,然后交由Elasticsearch存储,kibana对日志进行可视化处理
2. 部署ELK日志分析系统
主机名 | ip地址 | 主要软件 |
---|---|---|
es01 | 192.168.9.114 | ElasticSearch |
es02 | 192.168.9.115 | ElasticSearch |
es03 | 192.168.9.116 | ElasticSearch、Kibana |
nginx01 | 192.168.9.113 | nginx、Logstash |
初始化操作,所有服务器操作
systemctl disable --now firewalld
setenforce 0
vim /etc/selinux/config
SELINUX=disabled
#设置Java环境,所有服务器操作
java -version #如果没有安装,yum -y install java
openjdk version "1.8.0_131"
OpenJDK Runtime Environment (build 1.8.0_131-b12)
OpenJDK 64-Bit Server VM (build 25.131-b12, mixed mode)
修改主机名
hostnamectl set-hostname es01
hostnamectl set-hostname es02
hostnamectl set-hostname es03
2.1 部署 Elasticsearch 软件
2.1.1 安装elasticsearch—rpm包
上传elasticsearch-6.7.2.rpm到/opt目录下
cd /opt
rpm -ivh elasticsearch-6.7.2.rpm
2.1.2 修改elasticsearch主配置文件
修改elasticsearch主配置文件
cp /etc/elasticsearch/elasticsearch.yml /etc/elasticsearch/elasticsearch.yml.bak
vim /etc/elasticsearch/elasticsearch.yml
--17--取消注释,指定集群名字
cluster.name: my-elk-cluster
--23--取消注释,指定节点名字:Node1节点为node1,Node2节点为node2
node.name: node-1
node.master: true #是否master节点,false为否
node.data: true #是否数据节点,false为否
--35--取消注释,指定数据存放路径
path.data: /var/lib/elasticsearch
--39--取消注释,指定日志存放路径
path.logs: /var/log/elasticsearch
--45--取消注释,将系统内存锁定到es进程中,以保证es能够维护一定的内存空间,避免es使用swap交换分区
bootstrap.memory_lock: true
--57--取消注释,设置监听地址,0.0.0.0代表所有地址
network.host: 0.0.0.0
--61--取消注释,ES 服务的默认监听端口为9200
http.port: 9200 #指定es集群提供外部访问的接口
transport.tcp.port: 9300 #指定es集群内部通信接口
--71--取消注释,集群发现通过单播实现,指定要发现的节点
discovery.zen.ping.unicast.hosts: ["192.168.9.114:9300", "192.168.9.115:9300", "192.168.9.116:9300"]
grep -v "^#" /etc/elasticsearch/elasticsearch.yml
scp elasticsearch.yml 192.168.9.115:`pwd`
scp elasticsearch.yml 192.168.9.116:`pwd`
复制完成后将192.168.9.115和192.168.9.116两台服务器的node.name: node-1分别改为node-2、node-3
2.1.3 es 性能调优参数
#优化最大内存大小和最大文件描述符的数量
vim /etc/security/limits.conf
......
* soft nofile 65536
* hard nofile 65536
* soft nproc 65536
* hard nproc 65536
* soft memlock unlimited
* hard memlock unlimited
vim /etc/systemd/system.conf
DefaultLimitNOFILE=65536 #51行
DefaultLimitNPROC=65536 #53行
DefaultLimitMEMLOCK=infinity #54行
同样配置复制到其他两台主机
vim /etc/sysctl.conf
#一个进程可以拥有的最大内存映射区域数,参考数据(分配 2g/262144,4g/4194304,8g/8388608)
vm.max_map_count=262144
net.ipv4.tcp_syncookies=1
net.ipv4.tcp_tw_reuse=1
net.ipv4.tcp_tw_recycle=1
net.ipv4.tcp_fin_timeout=30
net.ipv4.tcp_keepalive_time=1200
net.ipv4.ip_local_port_range=1024 65535
net.ipv4.tcp_max_syn_backlog=8192
net.ipv4.tcp_max_tw_buckets=5000
net.core.somaxconn=65535
sysctl -p #加载
同样配置复制到其他两台主机
reboot重启三台服务器
2.1.4 启动elasticsearch
三台服务器共同操作
systemctl start elasticsearch.service
systemctl enable elasticsearch.service
netstat -antp | grep 9200
JVM优化(三台服务器都需操作)
cd /etc/elasticsearch/
vim jvm.options
22行 -Xms2g
23行 -Xmx2g @@设置为物理内存的一般
systemctl restart elasticsearch.service #重启服务
2.1.5 查看节点信息
浏览器访问 http://192.168.9.114:9200 、 http://192.168.9.115:9200、 http://192.168.9.116:9200查看节点 es01、es02、es03 的信息。
浏览器访问 http://192.168.9.114:9200/_cluster/health?pretty 、 http://192.168.9.115:9200/_cluster/health?pretty、http://192.168.9.116:9200/_cluster/health?pretty查看群集的健康情况,可以看到 status 值为 green(绿色), 表示节点健康运行。
浏览器访问 http://192.168.9.114:9200/_cluster/state?pretty 检查群集状态信息。
2.1.6 安装 Elasticsearch-head 插件
1.编译安装 node
上传软件包 node-v8.2.1.tar.gz 到/opt
yum install gcc gcc-c++ make -y
cd /opt
tar zxvf node-v8.2.1.tar.gz
cd node-v8.2.1/
./configure
make && make install
2.安装 phantomjs
上传软件包 phantomjs-2.1.1-linux-x86_64.tar.bz2 到
cd /opt
tar jxvf phantomjs-2.1.1-linux-x86_64.tar.bz2
cd /opt/phantomjs-2.1.1-linux-x86_64/bin
cp phantomjs /usr/local/bin
3.安装 Elasticsearch-head 数据可视化工具
上传软件包 elasticsearch-head-master.zip 到/opt
cd /opt
unzip elasticsearch-head-master.zip
cd /opt/elasticsearch-head-m/
npm install //安装依赖包
4.修改 Elasticsearch 主配置文件
vim /etc/elasticsearch/elasticsearch.yml
......
--末尾添加以下内容--
http.cors.enabled: true #开启跨域访问支持,默认为 false
http.cors.allow-origin: "*" #指定跨域访问允许的域名地址为所有
systemctl restart elasticsearch
5.启动 elasticsearch-head 服务
#必须在解压后的 elasticsearch-head 目录下启动服务,进程会读取该目录下的 gruntfile.js 文件,否则可能启动失败。
cd elasticsearch-head-master/
npm run start &
> elasticsearch-head@0.0.0 start /usr/local/src/elasticsearch-head
> grunt server
Running "connect:server" (connect) task
Waiting forever...
Started connect web server on http://localhost:9100
#elasticsearch-head 监听的端口是 9100
netstat -natp |grep 9100
6.通过 Elasticsearch-head 查看 Elasticsearch 信息
通过浏览器访问 http://192.168.9.114:9100/ 地址并连接群集。如果看到群集健康值为 green 绿色,代表群集很健康。
7.创建索引
API基本格式:http://ip:port/<索引>/<类型>/<文档id>
#通过命令创建一个测试索引,索引为 index-demo,类型为 test。
curl -X PUT 'localhost:9200/index-demo/test/1?pretty \
-H 'content-Type: application/json' \
-d '{"user":"zhangsan","mesg":"hello world"}'
//输出结果如下:
{
"_index" : "index-demo",
"_type" : "test",
"_id" : "1",
"_version" : 1,
"result" : "created",
"_shards" : {
"total" : 2,
"successful" : 2,
"failed" : 0
},
"created" : true
}
浏览器访问 http://192.168.9.114:9100/ 查看索引信息,可以看见索引默认被分片5个,并且有一个副本。
点击“数据浏览”,会发现在node1上创建的索引为 index-demo,类型为 test 的相关信息。
7.1 Elasticsearch 索引管理
2.2 ELK Logstash 部署
初始化操作
systemctl disable --now firewalld
setenforce 0
vim /etc/selinux/config
SELINUX=disabled
2.2.1 更改主机名
hostnamectl set-hostname nginx01
2.2.2 安装配置ngnx
cd /etc/yum.repos.d
上传nginx.repo文件
yum install -y nginx
systemctl enable --now nginx
cd /usr/share/nginx/html
vim test.html
<h1>this is web page</h1>
浏览器进行测试:http://192.168.9.113/test.html
2.2.3 安装logstash
上传软件包 logstash-6.7.2.rpm 到/opt目录下
cd /opt
上传软件包
yum localinstall -y logstash-6.7.2.rpm #安装
ln -s /usr/share/logstash/bin/logstash /usr/local/bin/
2.2.4 测试 Logstash
Logstash 命令常用选项
2.2.5 定义 logstash配置文件
14.21配置完成
chmod a+r /var/log/messages #保证要有可读权限
mkdir -p /etc/logstash/sincedb_path
touch /etc/logstash/sincedb_path/log_progress
chown logstash:logstash !$
cd /etc/nginx/conf.d
vim syslog.conf #编写文件获取系统日志
input {
file {
path => "/var/log/messages"
type => "syslog"
start_position => "beginning"
sincedb_path => "/etc/logstash/sincedb_path/log_progress"
add_field => {"logfrom" => "${HOSTNAME}"}
}
}
#filter {}
output {
elasticsearch {
hosts => ["192.168.9.114:9200", "192.168.9.115:9200", "192.168.9.116:9200"]
index => "syslog-%{+yyyy.MM.dd}"
}
}
logstash -t -f syslog.conf #配置完成后使用此命令查看配置文件是否正确
logstash -f syslog.conf #启动文件
2.3 ELK Kiabana 部署
2.3.1 安装 Kiabana
上传软件包 kibana-6.7.2-x86_64.rpm 到/opt目录
cd /opt
yum localinstall -y kibana-6.7.2-x86_64.rpm
2.3.2 设置 Kibana 的主配置文件
cd /etc/kibana/
cp kibana.yml kibana.yml.bak
touch /var/log/kibana.log
chown kibana:kibana !$
vim /etc/kibana/kibana.yml
--2--取消注释,Kiabana 服务的默认监听端口为5601
server.port: 5601
--7--取消注释,设置 Kiabana 的监听地址,0.0.0.0代表所有地址
server.host: "0.0.0.0"
--28--取消注释,配置es服务器的ip,如果是集群则配置该集群中master节点的ip
elasticsearch.hosts: ["http://192.168.9.114:9200","http://192.168.9.115:9200","http://192.168.9.116:9200"]
--96--取消注释,配置kibana的日志文件路径(需手动创建),不然默认是messages里记录日志
logging.dest: /var/log/kibana.log
--113--取消注释,指定页面字符格式为中文
i18n.locale: "zh-CN"
systemctl enable --now kibana.service
2.3.3 验证 Kibana
浏览器访问 http://192.168.9.116:5601
2.3.4 将nginx服务器的日志(访问的、错误的)添加到 Elasticsearch 并通过 Kibana 显示
cd /etc/nginx/conf.d
vim nginx_log.conf
input {
file {
path => "/var/log/nginx/access.log"
type => "nginx_access"
start_position => "beginning"
sincedb_path => "/etc/logstash/sincedb_path/log_progress"
}
file {
path => "/var/log/nginx/error.log"
type => "nginx_error"
start_position => "beginning"
sincedb_path => "/etc/logstash/sincedb_path/log_progress"
}
}
#filter {}
output {
if [type] == "nginx_access" {
elasticsearch {
hosts => ["192.168.9.114:9200", "192.168.9.115:9200", "192.168.9.116:9200"]
index => "nginx_access-%{+yyyy.MM.dd}"
}
}
if [type] =="nginx_error" {
elasticsearch {
hosts => ["192.168.9.114:9200", "192.168.9.115:9200", "192.168.9.116:9200"]
index => "access_error-%{+yyyy.MM.dd}"
}
}
}
logstash -t -f nginx_log.conf #测试
logstash -f nginx_log.conf #启动
此时访问192.168.9.113nginx服务器的日志即可在kibana中显示出来