一、背景 [Consul Documentation | Consul | HashiCorp Developer](https://developer.hashicorp.com/consul/docs) Prometheus配置文件 prometheus-config.yaml 配置了大量的采集规则，基本上都...

一、PrometheusRule是什么 `PrometheusRule` 是 Prometheus Operator 中的一个自定义资源（Custom Resource），它用于定义 Prometheus 在监控系统中的规则和警报规则。 Prometheus 是一种开源的...

一、为什么还需要 `dcgm-exporter` `node_exporter` 能看到系统级指标，但看不到足够细的 GPU 运行细节。而大模型推理和训练最关心的常常是： * GPU 利用率； * 显存占用； * 温度和功耗； * 显...

一、修改alertmanager-secret.yaml添加自定义模板 添加告警模板 **注意:wechat.tmpl和alertmanager.yaml需要对齐** 在templates字段添加模板位置 配置wechat-ops receiver使用该模板 配置警报重...

一、先用命令行工具做最小监控 1.1 NVIDIA GPU：`nvidia-smi` 这是最基础也最常用的 NVIDIA GPU 监控工具，前提是已经安装好显卡驱动。 常见用法： 它最适合做： * 快速排查显存占用； * 看当前...

一、HTTP 监控（监控外部域名） 按上面方法重载 Prometheus，打开 Prometheus 的 Target 页面，就会看到 上面定义的 `blackbox-external-website` 任务 二、HTTP Post 监控（监控外部域名） 按...

一、新增 Kubernetes 集群架构监控 在 `prometheus-config.yaml` 一次添加如下采集数据： 1.1 **kube-apiserver** 需要注意的是使用https访问时，需要tls相关配置，可以指定ca证书路径或者 `ins...

一、创建一个空文件，然后通过该文件创建一个 Secret，那么这个 Secret 即可作为 Prometheus 的静态配置 查看 Secret是否创建完成 二、创建完 Secret 后，需要编辑下 Prometheus 配置 三、参考[...

一、ICMP监控 按上面方法重载 Prometheus，打开 Prometheus 的 Target 页面，就会看到 上面定义的 `blackbox-k8s-http-services` 任务

一、准备工作。 1.1 注册完成企业微信 步骤略 1.2 创建应用 点击【应用管理】-【创建应用】 填写【应用名称】、【应用介绍(选填)】并上传应用Logo后，点击【创建应用】 1.3 获取企业ID 点击【我...