一、数据背景 在海量数据场景下，日志管理和分析是一项重要任务。为了解决这个问题，EFK 架构 （Elasticsearch + Fluentd + Kibana）已经成为流行的选择。 然而，随着数据规模的增加，传统的 EF...

一、ELK架构 在传统架构中，比较成熟且流行的日志收集平台非ELK（Elasticsearch + Logstash + Kibana）莫属，其中Logstash负责采集日志，并输出至Elasticsearch，之后用Kibana进行展示。 缺点：...

一、环境介绍 服务器可用资源 2 核 4G 以上 二、部署步骤 1.下载需要的部署文件 2.创建 EFK 所用的命名空间 3.创建 Elasticsearch 集群 4.创建 Kibana 5.在需要采集的主机上添加一个 NodeSelect...

一、Filebeat 在早期的ELK架构中，日志收集均以Logstash为主，Logstash负责收集和解析日志，它对内存、CPU、IO资源的消耗比较高，但是Filebeat所占系统的CPU和内存几乎可以忽略不计。 由于Fileb...

一、前言 Filebeat是一个非常轻量级的日志收集工具，可以将其和应用程序部署至一个Pod中，通过Volume进行日志文件的共享，之后Filebeat即可采集里面的数据，并推送至日志平台。 下面环境基于EFK...

一、前言 本文主要以下几方面介绍k8s日志收集: * 日志收集内容 * 日志收集工具 * 日志收集架构分析 二、日志收集内容 在日常使用控制过程中，一般需要收集的日志为以下几类： * 服务器系统日志 ...

一、使用Filebeat收集K8s日志 1.1 在K8s中一键部署Filebeat 参考链接：https://www.elastic.co/docs/deploy-manage/deploy/cloud-on-k8s/quickstart-beats 1.1 部署Filebeat 1、创建一个定义 Fi...

一、有哪些日志需要收集管理？ 在日常使用控制过程中，一般需要收集的日志为以下几类： * 服务器系统日志 * /var/log/messages * /var/log/kube-xxx.log * Kubernetes组件日志(/var/log/kube.*)...

一、使用Filebeat收集指定空间的日志 有时候可能只需要收集部分空间的日志，而并不是收集所有的日志，此时通过修改 Filebeat的配置，实现只收集部分空间的日志。 假如只收集 krm 和 kube-system...

一、前言 集群级/应用日志通过将日志数据从容器或节点中解耦，并将其发送到集中的日志存储或处理系统，使日志数据在整个集群中可见。 **优势**：即使容器或节点发生故障，仍然可以访问日志数据...