日志采集共26篇
Fluentd 案例实战:模式匹配与多场景配置示例-AI运维探索者

Fluentd 案例实战:模式匹配与多场景配置示例

一、案例分享 1.1 场景一 - 将 /root/my.txt文件中的日志数据按照指定的格式解析后,通过HTTP POST方法 发送到http://localhost:9090/地址。 - 发送的数据格式为JSON,每3秒发送一次。 fluentd...
头像3年前
04015
Kubernetes日志收集内容与技术栈概览-AI运维探索者

Kubernetes日志收集内容与技术栈概览

一、前言 本文主要以下几方面介绍k8s日志收集: * 日志收集内容 * 日志收集工具 * 日志收集架构分析 二、日志收集内容 在日常使用控制过程中,一般需要收集的日志为以下几类: * 服务器系统日志 ...
头像3年前
04114
Kubernetes日志收集基础:日志类型、技术栈与工具对比-AI运维探索者

Kubernetes日志收集基础:日志类型、技术栈与工具对比

一、有哪些日志需要收集管理? 在日常使用控制过程中,一般需要收集的日志为以下几类: * 服务器系统日志 * /var/log/messages * /var/log/kube-xxx.log * Kubernetes组件日志(/var/log/kube.*)...
头像3年前
05114
ECK入门与核心资源:Elasticsearch、Kibana和Logstash配置详解-AI运维探索者

ECK入门与核心资源:Elasticsearch、Kibana和Logstash配置详解

一、云原生日志框架ECK介绍 官网链接:[Elastic Cloud on Kubernetes | Elastic Docs](https://www.elastic.co/docs/deploy-manage/deploy/cloud-on-k8s) Elastic Cloud on Kubernetes(CCK)是El...
头像3年前
03414
Filebeat日志采集方案:非云原生应用与系统组件日志收集-AI运维探索者

Filebeat日志采集方案:非云原生应用与系统组件日志收集

一、非云原生应用日志收集方案 1.1 Filebeat收集非云原生应用日志架构图 1.1 Filebeat收集非云原生应用日志架构图解析 1、**应用与日志生成** - **非云原生应用(Application)** 以容器形式运...
头像3年前
04914
EFK 架构升级:Kafka + Logstash 支撑海量日志场景-AI运维探索者

EFK 架构升级:Kafka + Logstash 支撑海量日志场景

一、数据背景 在海量数据场景下,日志管理和分析是一项重要任务。为了解决这个问题,EFK 架构 (Elasticsearch + Fluentd + Kibana)已经成为流行的选择。 然而,随着数据规模的增加,传统的 EF...
头像3年前
02114
Fluentd 高级配置:source、match、buffer、filter 与 label-AI运维探索者

Fluentd 高级配置:source、match、buffer、filter 与 label

一、配置文件 在 Fluentd 的配置文件中,有几个常用的关键字和组件,包括 source 、 match 、filter 、 system 、 label 和 @include 。 * 1.source :用于定义 Fluentd 接收数据的来源 * 2.mat...
头像3年前
04014
基于Kubernetes的日志收集系统:搭建Loki 日志收集系统-AI运维探索者

基于Kubernetes的日志收集系统:搭建Loki 日志收集系统

一、基于Loki 日志监控报警 后续加
头像3年前
02714
ELK与EFK日志收集架构分析-AI运维探索者

ELK与EFK日志收集架构分析

一、ELK架构 在传统架构中,比较成熟且流行的日志收集平台非ELK(Elasticsearch + Logstash + Kibana)莫属,其中Logstash负责采集日志,并输出至Elasticsearch,之后用Kibana进行展示。 缺点:...
头像3年前
02614
Filebeat Sidecar收集自定义文件日志实践-AI运维探索者

Filebeat Sidecar收集自定义文件日志实践

一、前言 Filebeat是一个非常轻量级的日志收集工具,可以将其和应用程序部署至一个Pod中,通过Volume进行日志文件的共享,之后Filebeat即可采集里面的数据,并推送至日志平台。 下面环境基于EFK...
头像3年前
02213