一、PrometheusRule是什么 `PrometheusRule` 是 Prometheus Operator 中的一个自定义资源（Custom Resource），它用于定义 Prometheus 在监控系统中的规则和警报规则。 Prometheus 是一种开源的...

一、为什么还需要 `dcgm-exporter` `node_exporter` 能看到系统级指标，但看不到足够细的 GPU 运行细节。而大模型推理和训练最关心的常常是： * GPU 利用率； * 显存占用； * 温度和功耗； * 显...

一、修改alertmanager-secret.yaml添加自定义模板 添加告警模板 **注意:wechat.tmpl和alertmanager.yaml需要对齐** 在templates字段添加模板位置 配置wechat-ops receiver使用该模板 配置警报重...

一、先用命令行工具做最小监控 1.1 NVIDIA GPU：`nvidia-smi` 这是最基础也最常用的 NVIDIA GPU 监控工具，前提是已经安装好显卡驱动。 常见用法： 它最适合做： * 快速排查显存占用； * 看当前...

一、HTTP 监控（监控外部域名） 按上面方法重载 Prometheus，打开 Prometheus 的 Target 页面，就会看到 上面定义的 `blackbox-external-website` 任务 二、HTTP Post 监控（监控外部域名） 按...

一、Prometheus监控非云原生应用流程 上面流程图说明： 针对非云原生应用一般本身不存在一个/metrics接口，我们需要配置Exporter来指向非云原生应用Service（集群外部的应用也需要指定具体IP）...

一、创建一个空文件，然后通过该文件创建一个 Secret，那么这个 Secret 即可作为 Prometheus 的静态配置 查看 Secret是否创建完成 二、创建完 Secret 后，需要编辑下 Prometheus 配置 三、参考[...

一、ICMP监控 按上面方法重载 Prometheus，打开 Prometheus 的 Target 页面，就会看到 上面定义的 `blackbox-k8s-http-services` 任务

一、准备工作。 1.1 注册完成企业微信 步骤略 1.2 创建应用 点击【应用管理】-【创建应用】 填写【应用名称】、【应用介绍(选填)】并上传应用Logo后，点击【创建应用】 1.3 获取企业ID 点击【我...

一、为了避免告警轰炸，将同类型的告警规则定位一组，比如将所有硬件相关的都归类到hardware，包括负载、cpu使用率、内存使用率、硬盘等。 当此类告警被触发，在一个“group_wait”时间范围内，...