日志分析共24篇
Filebeat实战:按命名空间采集Kubernetes日志-AI运维探索者

Filebeat实战:按命名空间采集Kubernetes日志

一、使用Filebeat收集指定空间的日志 有时候可能只需要收集部分空间的日志,而并不是收集所有的日志,此时通过修改 Filebeat的配置,实现只收集部分空间的日志。 假如只收集 krm 和 kube-system...
头像3年前
0586
多种日志收集方案:应用日志、Pod 日志与 Sidecar 实践-AI运维探索者

多种日志收集方案:应用日志、Pod 日志与 Sidecar 实践

一、前言 集群级/应用日志通过将日志数据从容器或节点中解耦,并将其发送到集中的日志存储或处理系统,使日志数据在整个集群中可见。 **优势**:即使容器或节点发生故障,仍然可以访问日志数据...
头像3年前
0427
Filebeat应用日志采集实战:Nginx、Tomcat、Docker与综合练习-AI运维探索者

Filebeat应用日志采集实战:Nginx、Tomcat、Docker与综合练习

一、使用filebeat采集应用日志 1.1 使用filebeat采集nginx日志 搭建nginx环境 1、在elk123节点上添加yum源 2、在elk123节点上安装nginx 3、在浏览器输入进行访问测试 <img src="https:/...
头像5年前
03614
Filebeat实战:按标签采集Kubernetes日志-AI运维探索者

Filebeat实战:按标签采集Kubernetes日志

一、使用Filebeat根据标签收集日志 除了逐个配置 Namespace,也可以根据 Namespace 的标签进行过滤,更加方便。 比如只收集 Namespace 具有 filebeat=true 标签的空间日志: 1、备份配置文件 2...
头像3年前
05710
日志平台设计:如何搭建有价值的日志分析体系-AI运维探索者

日志平台设计:如何搭建有价值的日志分析体系

一、日志规范 在K8S架构中,为了统一和标准化日志格式,可以使用以下几种常见的日志规范: 1、日志格式规范: - 结构化日志:使用结构化日志格式,如JSON、XML 或 Key-Value Pair(键值 对)格...
头像3年前
05912
Logstash入门实战:部署、Filebeat联动、GeoIP与Nginx日志解析-AI运维探索者

Logstash入门实战:部署、Filebeat联动、GeoIP与Nginx日志解析

一、logstash部署 **说明:此时环境是已经完成前面ES部署,本身存在JDK环境** 1.1 基于rpm方式安装logstash 1、下载软件包 下载链接: 2、在elk123主机上安装logstas
头像5年前
05012
Filebeat实战:采集容器内日志与环境清理-AI运维探索者

Filebeat实战:采集容器内日志与环境清理

一、使用Filebeat收集容器内的日志 有些程序在设计时,并没有符合云原生设计,也就是把程序的日志直接输出到了本地文件,此时如果也需要收集日志,可以在程序的 Pod 内,启动一个 Filebeat 的容...
头像3年前
04011
生产级日志平台架构:亿级流量场景与云原生日志采集方案-AI运维探索者

生产级日志平台架构:亿级流量场景与云原生日志采集方案

一、生产级亿级流量日志平台架构解析 1.1 生产级亿级流量日志平台架构图 1.1 架构核心组件及流程 1、日志生成层(Kubernetes + e-service) * **Kubernetes** 作为容器编排平台,管理业务微服务...
头像3年前
0556
Nginx日志配置指南:error_log、access_log 与 log_format-AI运维探索者

Nginx日志配置指南:error_log、access_log 与 log_format

一、为什么 Nginx 日志很重要 这里将 Nginx 日志分成了两类: | 日志类型 | 主要用途 | | --- | --- | | 错误日志 | 出现 4xx、5xx 或配置故障时排查问题 | | 访问日志 | 记录访问时间、页面、...
头像5年前
05811
Filebeat实战:采集指定文件日志-AI运维探索者

Filebeat实战:采集指定文件日志

一、使用Filebeat收集指定文件日志 如果想要收集某个文件的日志,可以直接添加 log 类型日志配置即可: 1、备份配置文件 2、修改filebeat配置文件 添加内容 完整配置文件 3、重新应用filebeat配...
头像3年前
04110