一、前言 Kubernetes 中比较流行的日志收集解决方案是Elasticsearch、Fluentd 和 Kibana （EFK）技术栈，也是官方现在比较推荐的一种方案。 1.1 主要组件功能 1、Elasticsearch（ES）: - 强大的...

一、ELK架构 在传统架构中，比较成熟且流行的日志收集平台非ELK（Elasticsearch + Logstash + Kibana）莫属，其中Logstash负责采集日志，并输出至Elasticsearch，之后用Kibana进行展示。 缺点：...

一、前言 本文主要以下几方面介绍k8s日志收集: * 日志收集内容 * 日志收集工具 * 日志收集架构分析 二、日志收集内容 在日常使用控制过程中，一般需要收集的日志为以下几类： * 服务器系统日志 ...

一、有哪些日志需要收集管理？ 在日常使用控制过程中，一般需要收集的日志为以下几类： * 服务器系统日志 * /var/log/messages * /var/log/kube-xxx.log * Kubernetes组件日志(/var/log/kube.*)...

一、数据背景 在海量数据场景下，日志管理和分析是一项重要任务。为了解决这个问题，EFK 架构 （Elasticsearch + Fluentd + Kibana）已经成为流行的选择。 然而，随着数据规模的增加，传统的 EF...

一、日志规范 在K8S架构中，为了统一和标准化日志格式，可以使用以下几种常见的日志规范： 1、日志格式规范： - 结构化日志：使用结构化日志格式，如JSON、XML 或 Key-Value Pair（键值 对）格...

一、Filebeat 在早期的ELK架构中，日志收集均以Logstash为主，Logstash负责收集和解析日志，它对内存、CPU、IO资源的消耗比较高，但是Filebeat所占系统的CPU和内存几乎可以忽略不计。 由于Fileb...

一、Fluentd采集组件 1.1 前言 Fluentd 是一个高效的日志聚合器，是用 Ruby 编写的，并且可以很好地扩展。对于大 部分企业来说，Fluentd 足够高效并且消耗的资源相对较少。 另外一个工具 Fluent...

一、前言 集群级/应用日志通过将日志数据从容器或节点中解耦，并将其发送到集中的日志存储或处理系统，使日志数据在整个集群中可见。 **优势**：即使容器或节点发生故障，仍然可以访问日志数据...

一、生产级亿级流量日志平台架构解析 1.1 生产级亿级流量日志平台架构图 1.1 架构核心组件及流程 1、日志生成层（Kubernetes + e-service） * **Kubernetes** 作为容器编排平台，管理业务微服务...