日志采集 第3页
日志平台设计:如何搭建有价值的日志分析体系-AI运维探索者

日志平台设计:如何搭建有价值的日志分析体系

一、日志规范 在K8S架构中,为了统一和标准化日志格式,可以使用以下几种常见的日志规范: 1、日志格式规范: - 结构化日志:使用结构化日志格式,如JSON、XML 或 Key-Value Pair(键值 对)格...
头像3年前
05112
EFK 架构升级:Kafka + Logstash 支撑海量日志场景-AI运维探索者

EFK 架构升级:Kafka + Logstash 支撑海量日志场景

一、数据背景 在海量数据场景下,日志管理和分析是一项重要任务。为了解决这个问题,EFK 架构 (Elasticsearch + Fluentd + Kibana)已经成为流行的选择。 然而,随着数据规模的增加,传统的 EF...
头像3年前
02114
Fluentd 高级配置:source、match、buffer、filter 与 label-AI运维探索者

Fluentd 高级配置:source、match、buffer、filter 与 label

一、配置文件 在 Fluentd 的配置文件中,有几个常用的关键字和组件,包括 source 、 match 、filter 、 system 、 label 和 @include 。 * 1.source :用于定义 Fluentd 接收数据的来源 * 2.mat...
头像3年前
04014
生产级日志平台架构:亿级流量场景与云原生日志采集方案-AI运维探索者

生产级日志平台架构:亿级流量场景与云原生日志采集方案

一、生产级亿级流量日志平台架构解析 1.1 生产级亿级流量日志平台架构图 1.1 架构核心组件及流程 1、日志生成层(Kubernetes + e-service) * **Kubernetes** 作为容器编排平台,管理业务微服务...
头像3年前
0466
EFK技术栈收集Kubernetes日志实践-AI运维探索者

EFK技术栈收集Kubernetes日志实践

一、环境介绍 服务器可用资源 2 核 4G 以上 二、部署步骤 1.下载需要的部署文件 2.创建 EFK 所用的命名空间 3.创建 Elasticsearch 集群 4.创建 Kibana 5.在需要采集的主机上添加一个 NodeSelect...
头像3年前
0376
Loki 场景实践:虚机日志、Java 应用日志与生产优化-AI运维探索者

Loki 场景实践:虚机日志、Java 应用日志与生产优化

- 一、背景 - 非K8S集群节点,单独部署某个特殊应用或Job的虚机; - 各个应用间的日志数据非同一目录; - 当前K8S环境中已经部署了Loki日志管理系统; 一、非K8S集群虚机日志收集 1.1 安装和配...
头像3年前
03010