方便又高效！还在手动从服务器获取日志？设置日志收集系统更方便！
随着企业规模的扩大和信息化程度的提升，日志系统在运维和故障排查中的作用愈加重要。一个高效的日志系统不仅可以帮助开发者和运维人员快速定位问题，还能对系统性能、用户行为等方面的数据进行深入分析，从而提升业务优化和决策支持能力。传统的日志系统架构，如 ELK（Elasticsearch、Logstash、Kibana），已经在大量生产环境中得到了广泛的验证。然而，随着容器化和微服务架构的流行，尤其是在 Kubernetes (k8s) 环境中，对日志系统的需求也在不断演变。
这使得新的日志解决方案应运而生，例如 EFK（Elasticsearch、Fluent Bit、Kibana）和 PLG（Promtail、Loki、Grafana）架构，它们分别针对不同的使用场景和需求，提供了更加灵活、低成本、高效的日志收集、存储、和可视化方案。尤其是 PLG 架构，凭借其与 Prometheus 的紧密集成和对时间序列数据的优秀处理能力，成为了在云原生环境中逐渐流行的选择。
本文将深入探讨 ELK、EFK 和 PLG 三大日志系统的架构设计、技术特点及其在实际应用中的优势和不足，并通过对比分析帮助读者更好地理解每种日志系统的适用场景和最佳实践。
ELK 日志系统
经典的 ELK 架构，现在称为 Elastic Stack，由 Elasticsearch、Logstash、Kibana 和 Beats 组成：
Beats 负责日志收集。
Logstash 负责日志聚合和处理。
Elasticsearch（ES）用作日志存储和搜索系统。
Kibana 提供前端可视化。
总体架构图：
EFK 日志系统
在容器化场景中，尤其是 Kubernetes (k8s) 环境中，用户通常使用 EFK 架构。
F 代表 Fluent Bit，它是一款开源的多平台日志处理器和转发器。Fluent Bit 能够：
从各种来源收集数据/日志。
统一并转发它们到多个目的地。
完全与 Docker 和 k8s 环境集成。
PLG 日志系统
Prometheus + k8s 日志系统
Prometheus 与 Kubernetes (k8s) 结合，可以搭建一个高效的日志系统。
该系统利用 Prometheus 进行监控和告警，提供了在 Kubernetes 环境中强大的日志解决方案。
PLG
另一种由 Grafana Labs 提供的日志解决方案 PLG 也日渐流行。PLG 架构由 Promtail、Loki 和 Grafana 组成：
Promtail 负责收集日志。
Loki 作为日志聚合和存储系统。
Grafana 提供前端可视化。
Grafana 是一款开源的可视化和分析软件，允许用户查询、可视化、告警并探索监控指标。
Grafana 主要为时间序列数据提供仪表盘解决方案，并支持十几种数据源。
Grafana Loki 是一组组件，可以组成一个完整的日志堆栈。与其他日志系统不同，Loki 只索引日志的标签，而不是原始的日志内容。
相反，它为日志数据设置了一组标签，从而降低了操作成本，并大大提高了效率。
Loki 设计理念
受 Prometheus 启发，Loki 旨在实现一个水平扩展、高可用的多租户日志系统。
Loki 的总体架构由不同的组件组成，这些组件协同工作以执行日志收集、索引、存储等功能。
这些组件包括：
Promtail：从各种来源收集日志并将其转发到 Loki。
Loki：使用标签存储和索引日志数据。
Grafana：可视化日志数据并支持查询和告警。
了解更多，请访问 Loki 的架构。Loki 本质上就是“为日志设计的 Prometheus”。
Promtail 是一个日志收集代理，负责将本地日志内容发送到 Loki 实例。
它通常部署在每个需要监控应用程序的机器/容器上。Promtail 主要用于发现目标，给日志流附加标签，并将日志推送到 Loki。目前，Promtail 可以跟踪来自两个来源的日志：本地日志文件和 systemd 日志（仅限 AMD64 架构）。
PLG 与 ELK 对比
ES 与 Loki
ELK/EFK 架构经过多年的实际环境验证，表现出色。
Elasticsearch (ES) 中存储的日志通常以存储在磁盘上的非结构化 JSON 对象形式存在，ES 为每个对象建立索引以实现全文搜索。这使用户可以使用特定的查询语言搜索这些日志。
相比之下，Loki 将数据存储解耦：
它可以将数据存储在磁盘上。
它也可以使用云存储系统，如 Amazon S3。
Loki 日志使用一组键值对进行标签化，只有这些标签会被索引。
这种权衡使 Loki 的索引操作成本较低，但对于基于内容的查询，用户需要使用 LogQL 进行单独搜索。
Fluentd 与 Promtail
与 Fluentd 相比，Promtail 是为 Loki 量身定制的。它可以发现与 Kubernetes (k8s) Pods 运行在同一节点上的服务，并从指定目录中读取日志。
Loki 使用类似于 Prometheus 的标签方法。因此，在与 Prometheus 部署在相同环境时，Promtail 收集的日志通常具有与应用程序指标相同的标签，从而实现统一的标签管理。
Grafana 与 Kibana
Kibana 为数据分析提供了许多可视化工具，包括异常检测和其他机器学习功能。Grafana 设计用于显示来自 Prometheus 和 Loki 的时间序列数据，允许在同一仪表盘中查看日志和指标。
结语
日志系统是企业监控和维护应用程序的重要组成部分。随着技术的不断发展，日志系统不仅仅局限于简单的记录和存储，而是成为了数据驱动决策、监控系统健康状况以及优化用户体验的重要工具。通过本文对 ELK、EFK 和 PLG 日志系统的详细分析，我们可以看到每种架构在不同场景下的应用优势。
ELK 架构凭借其强大的搜索和可视化功能，已经成为了许多传统企业的首选方案；而 EFK 架构则针对容器化场景进行了优化，适合在 Kubernetes 环境中进行日志处理。相比之下，PLG 架构以其轻量级、高扩展性的特点，提供了更加灵活的解决方案，尤其适合处理大量分布式服务的日志。
在未来，随着企业业务的进一步扩展和云原生技术的深入应用，日志系统将更加注重实时性、可扩展性和智能化分析功能。因此，选择一个适合自身业务需求的日志系统将变得尤为关键，而 PLG、EFK 和 ELK 架构都为用户提供了丰富的选择和深厚的技术支持。
