Hive 的数据存储单元结构-CFANZ编程社区

一、准备环境

1、ElasticSearch：8.1.0

2、FileBeat：8.1.0

3、Kibana：8.1.0

4、logstach：8.1.0

本次统一版本：8.1.0,4个组件，划分目录，保持版本一致。

说明：elasticsearch和kibana会有版本不兼容的情况、导致kibana连接不上ES，会报错，不支持版本。

下载地址：Elastic — The Search AI Company | Elastic

二、FileBeat安装

1、解压如下,存放统一目录

2、配置filebeat.yml文件

编辑如下yaml

修改如下配置：

filebeat.inputs:
 
- type: log
 
  enabled: true
 
  paths:
    - D:\var\logs\walk-boot\*.log
  fields:
    level: info
 
filebeat.config.modules:
 
  path: ${path.config}/modules.d/*.yml
 
  reload.enabled: true
 
output.logstash:
  # The Logstash hosts
  hosts: ["localhost:5044"]

3、运行filebeat

cmd窗口如下：

三、Logstash安装

1、解压如下,存放统一目录

2、配置logstash.conf文件

这里使用logstash-sample.conf文件

# Sample Logstash configuration for creating a simple
# Beats -> Logstash -> Elasticsearch pipeline.

input {
  beats {
    port => 5044
  }
}

output {
  elasticsearch {
    hosts => ["http://localhost:9200"]
    index => "%{[@metadata][beat]}-%{[@metadata][version]}-%{+YYYY.MM.dd}"
    #user => "elastic"
    #password => "changeme"
  }
}

3、启动logstash

四、ElasticSearch安装

1、解压如下,存放统一目录

2、修改配置文件

ES8.x开启了安全认证，关闭 X-Pack 安全性，测试环境可以先关闭，增加一下配置：

xpack.security.enabled: false
xpack.security.transport.ssl.enabled: false

3、启动elasticsearch

1、点击批处理文件启动

2、观察启动日志：

3、验证运行状况

http://localhost:9200/

五、Kibana安装

1、解压如下,存放统一目录

2、配置kibana.yml文件

server.port: 5601
server.host: "0.0.0.0"
elasticsearch.hosts: ["http://localhost:9200"]

3、运行kinaba

4、浏览器访问界面

http://localhost:5601/app/dev_tools#/console

六、启动服务

1、观察日志打印

2、打开kibana

第一次打开需要创建索引模式，我这里创建的是walk-boot*，表示匹配walk-boot开头的所有日志文件。

左边是字段选择，点击+可以选择，选择的是message，更多字段可以按照需要搜索。