排序
日志平台设计:如何搭建有价值的日志分析体系
一、日志规范 在K8S架构中,为了统一和标准化日志格式,可以使用以下几种常见的日志规范: 1、日志格式规范: - 结构化日志:使用结构化日志格式,如JSON、XML 或 Key-Value Pair(键值 对)格...
EFK 架构升级:Kafka + Logstash 支撑海量日志场景
一、数据背景 在海量数据场景下,日志管理和分析是一项重要任务。为了解决这个问题,EFK 架构 (Elasticsearch + Fluentd + Kibana)已经成为流行的选择。 然而,随着数据规模的增加,传统的 EF...
Fluentd 高级配置:source、match、buffer、filter 与 label
一、配置文件 在 Fluentd 的配置文件中,有几个常用的关键字和组件,包括 source 、 match 、filter 、 system 、 label 和 @include 。 * 1.source :用于定义 Fluentd 接收数据的来源 * 2.mat...
生产级日志平台架构:亿级流量场景与云原生日志采集方案
一、生产级亿级流量日志平台架构解析 1.1 生产级亿级流量日志平台架构图 1.1 架构核心组件及流程 1、日志生成层(Kubernetes + e-service) * **Kubernetes** 作为容器编排平台,管理业务微服务...
EFK技术栈收集Kubernetes日志实践
一、环境介绍 服务器可用资源 2 核 4G 以上 二、部署步骤 1.下载需要的部署文件 2.创建 EFK 所用的命名空间 3.创建 Elasticsearch 集群 4.创建 Kibana 5.在需要采集的主机上添加一个 NodeSelect...
Loki 场景实践:虚机日志、Java 应用日志与生产优化
- 一、背景 - 非K8S集群节点,单独部署某个特殊应用或Job的虚机; - 各个应用间的日志数据非同一目录; - 当前K8S环境中已经部署了Loki日志管理系统; 一、非K8S集群虚机日志收集 1.1 安装和配...







