日志采集共26篇
Kubernetes日志收集基础:日志类型、技术栈与工具对比-AI运维探索者

Kubernetes日志收集基础:日志类型、技术栈与工具对比

一、有哪些日志需要收集管理? 在日常使用控制过程中,一般需要收集的日志为以下几类: * 服务器系统日志 * /var/log/messages * /var/log/kube-xxx.log * Kubernetes组件日志(/var/log/kube.*)...
头像3年前
05114
日志平台设计:如何搭建有价值的日志分析体系-AI运维探索者

日志平台设计:如何搭建有价值的日志分析体系

一、日志规范 在K8S架构中,为了统一和标准化日志格式,可以使用以下几种常见的日志规范: 1、日志格式规范: - 结构化日志:使用结构化日志格式,如JSON、XML 或 Key-Value Pair(键值 对)格...
头像3年前
05112
Filebeat实战:按标签采集Kubernetes日志-AI运维探索者

Filebeat实战:按标签采集Kubernetes日志

一、使用Filebeat根据标签收集日志 除了逐个配置 Namespace,也可以根据 Namespace 的标签进行过滤,更加方便。 比如只收集 Namespace 具有 filebeat=true 标签的空间日志: 1、备份配置文件 2...
头像3年前
05010
Filebeat日志采集方案:非云原生应用与系统组件日志收集-AI运维探索者

Filebeat日志采集方案:非云原生应用与系统组件日志收集

一、非云原生应用日志收集方案 1.1 Filebeat收集非云原生应用日志架构图 1.1 Filebeat收集非云原生应用日志架构图解析 1、**应用与日志生成** - **非云原生应用(Application)** 以容器形式运...
头像3年前
04914
生产级日志平台架构:亿级流量场景与云原生日志采集方案-AI运维探索者

生产级日志平台架构:亿级流量场景与云原生日志采集方案

一、生产级亿级流量日志平台架构解析 1.1 生产级亿级流量日志平台架构图 1.1 架构核心组件及流程 1、日志生成层(Kubernetes + e-service) * **Kubernetes** 作为容器编排平台,管理业务微服务...
头像3年前
0466
Filebeat实战:按命名空间采集Kubernetes日志-AI运维探索者

Filebeat实战:按命名空间采集Kubernetes日志

一、使用Filebeat收集指定空间的日志 有时候可能只需要收集部分空间的日志,而并不是收集所有的日志,此时通过修改 Filebeat的配置,实现只收集部分空间的日志。 假如只收集 krm 和 kube-system...
头像3年前
0446
Kubernetes日志收集内容与技术栈概览-AI运维探索者

Kubernetes日志收集内容与技术栈概览

一、前言 本文主要以下几方面介绍k8s日志收集: * 日志收集内容 * 日志收集工具 * 日志收集架构分析 二、日志收集内容 在日常使用控制过程中,一般需要收集的日志为以下几类: * 服务器系统日志 ...
头像3年前
04114
Fluentd 入门:安装方式、事件模型与基础过滤-AI运维探索者

Fluentd 入门:安装方式、事件模型与基础过滤

一、前言 Fluentd 是一个开源的日志收集和传输工具,用于可靠地收集、传输和处理各种类型的 日志数据。它被设计成具有灵活性和可扩展性,可以在复杂的日志处理场景中进行配置和定制。 以下是 Fl...
头像3年前
0408
ECK日志采集核心:Beat资源与Filebeat配置详解-AI运维探索者

ECK日志采集核心:Beat资源与Filebeat配置详解

一、ECK核心资源Beat配置详解 ECK核心资源Beat配置示例: 1.1 FileBeat配置详解 1.1 FileBeat基于k8s自动发现配置 ECK核心资源FileBeat配置示例: 1.1 FileBeat基于inputs配置 ECK核心资源FileB...
头像3年前
0409
Fluentd 案例实战:模式匹配与多场景配置示例-AI运维探索者

Fluentd 案例实战:模式匹配与多场景配置示例

一、案例分享 1.1 场景一 - 将 /root/my.txt文件中的日志数据按照指定的格式解析后,通过HTTP POST方法 发送到http://localhost:9090/地址。 - 发送的数据格式为JSON,每3秒发送一次。 fluentd...
头像3年前
04015