ELK 平台入门与架构设计

在分布式与微服务盛行的今天，日志管理已经成为企业 IT 运维与开发的核心需求之一。 本篇文章作为《ELK 日志平台实战系列》的开篇，将详细介绍 ELK 的组成、常见架构、设计原则和应用案例，为后续的部署、采集、可视化与优化打下基础。

一、为什么要集中化日志？

在传统的单机应用环境下，开发者只需登录一台服务器，查看几份日志文件即可排查问题。但在现代业务架构中，情况完全不同：

• 分布式调用链复杂 一个请求可能经过 Nginx → 服务 A → Kafka → 服务 B → 数据库，涉及数十台甚至上百台机器。 单点日志已无法覆盖全链路。
• 日志量爆炸式增长 一个中型业务每天的日志可能超过数百 GB，大型企业甚至达到数 TB 级别。 手工收集几乎不可能。
• 安全与合规 金融、电信、政企等行业，需要集中存储日志以满足合规审计与溯源。
• 业务价值 日志不仅仅是排障工具，还能沉淀为数据资产：用户行为分析、接口 SLA、异常趋势监控。

因此，一个统一的日志平台是必不可少的，而 ELK（Elasticsearch + Logstash + Kibana） 是最主流的解决方案。

二、ELK 组成与角色

1. Elasticsearch

• 基于 Lucene 的分布式搜索与分析引擎。
• 提供 全文检索、聚合分析、高可用存储。
• 在 ELK 中作为“日志仓库”和“检索核心”。
• 特点：水平扩展、近实时（Near Real-Time）、天然支持 JSON。

2. Logstash

• 一个强大的数据收集与处理管道工具。
• 支持数百种 输入插件（input）、过滤插件（filter）、输出插件（output）。
• 常见用法：

• 正则（grok）提取日志字段。
• JSON、CSV、XML 格式转换。
• 增强字段（GeoIP、UserAgent）。

• 缺点：相对“重”，内存消耗较高。

3. Kibana

• Web 可视化与分析平台。
• 功能：

• 日志搜索（Discover）。
• 图表与大屏（Dashboard / Canvas）。
• 告警（Watcher / Alerting）。

• 面向开发、运维、业务部门。

4. Beats 系列（轻量代理）

• Filebeat：采集文件日志，替代 Logstash 的 agent。
• Metricbeat：采集主机与容器指标。
• Auditbeat：采集安全审计事件。
• Packetbeat：采集网络数据包。
• 优势：轻量级，资源占用极低，推荐在边缘节点安装。

三、典型架构模式

1. 单机实验环境

[应用日志] → Filebeat → Elasticsearch → Kibana

• 最少资源：4GB 内存即可运行。
• 适合快速 PoC 和功能体验。
• 缺点：没有高可用、扩展性差。

2. 生产环境基础架构

日志源（应用/系统/容器） ↓ Filebeat（轻量采集） ↓ Logstash（复杂解析） ↓ Elasticsearch 集群（3 Master + N Data） ↓ Kibana（可视化分析）

• Beats 专注于采集。
• Logstash 负责解析、清洗和统一格式。
• ES 集群作为核心存储与检索。
• Kibana 提供查询与可视化。

3. 大规模优化架构

日志源 ↓ Filebeat ↓ Kafka（消息缓冲） ↓ 多实例 Logstash（消费解析） ↓ Elasticsearch（冷热分离集群） ↓ Kibana + 告警

• Kafka 作为缓冲，避免流量高峰时数据丢失。
• Logstash 水平扩展处理日志。
• Elasticsearch 采用冷热分离，SSD 存储热数据，SATA 存储冷数据。
• 配合 ILM（Index Lifecycle Management）实现日志生命周期自动管理。

四、架构设计原则

1. 高可用

• Master 节点 ≥ 3，避免脑裂。
• Data 节点可扩展，保证写入吞吐。
• Kibana 可多实例部署，前面挂 Nginx/SLB。

2. 高性能

• 存储优先用 SSD，特别是热数据节点。
• 内存设置：Heap ≤ 32GB，通常设置为物理内存的一半。
• 分片大小：建议 20~50GB。

3. 弹性扩展

• 索引按天/小时分割，避免单索引过大。
• ILM 策略：热 → 温 → 冷 → 删除。
• Beats + Logstash 水平扩展，根据业务量灵活增加节点。

五、常见架构对比

六、实战案例

以当前运维业务为例：

• 日志量：每日约 2TB。
• 架构设计：

• 应用服务器安装 Filebeat，将日志推送至 Kafka 集群。
• 多台 Logstash 消费 Kafka 日志，进行字段提取（userId、orderId、IP、状态码）。
• Elasticsearch 集群：

• 热节点：SSD，保存近 15 天日志。
• 温节点：HDD，保存 30 天日志。
• 90 天以上日志归档至 HDFS。

• Kibana 提供 Dashboard：

• 订单成功率。
• 支付延迟。
• 异常请求趋势。

• 优化措施：

• 使用 ILM 自动管理索引生命周期。
• 分片控制在 30GB 左右。
• 热节点设置副本数 1，温节点副本数 0。

七、总结

• ELK 是事实标准：几乎所有互联网公司都在使用。
• 架构要因地制宜：小规模可以直接 Filebeat + ES，大规模必须引入 Kafka、冷热分离与 ILM。
• 价值不止于日志：通过 Kibana 大屏与告警系统，ELK 平台能直接服务于业务与安全部门。