一、为什么还需要 `dcgm-exporter` `node_exporter` 能看到系统级指标，但看不到足够细的 GPU 运行细节。而大模型推理和训练最关心的常常是： * GPU 利用率； * 显存占用； * 温度和功耗； * 显...

一、修改alertmanager-secret.yaml添加自定义模板 添加告警模板 **注意:wechat.tmpl和alertmanager.yaml需要对齐** 在templates字段添加模板位置 配置wechat-ops receiver使用该模板 配置警报重...

一、先用命令行工具做最小监控 1.1 NVIDIA GPU：`nvidia-smi` 这是最基础也最常用的 NVIDIA GPU 监控工具，前提是已经安装好显卡驱动。 常见用法： 它最适合做： * 快速排查显存占用； * 看当前...

一、HTTP 监控（监控外部域名） 按上面方法重载 Prometheus，打开 Prometheus 的 Target 页面，就会看到 上面定义的 `blackbox-external-website` 任务 二、HTTP Post 监控（监控外部域名） 按...

一、Prometheus监控非云原生应用流程 上面流程图说明： 针对非云原生应用一般本身不存在一个/metrics接口，我们需要配置Exporter来指向非云原生应用Service（集群外部的应用也需要指定具体IP）...

一、配置Alertmanager接入PrometheusAlert 更新alertmanager配置，将所有的告警均指向告警分发平台 接口说明： 热加载alertmanager服务： 二、测试验证 验证所有的告警是否发送到指定的群组： ...

一、ICMP监控 按上面方法重载 Prometheus，打开 Prometheus 的 Target 页面，就会看到 上面定义的 `blackbox-k8s-http-services` 任务

一、准备工作。 1.1 注册完成企业微信 步骤略 1.2 创建应用 点击【应用管理】-【创建应用】 填写【应用名称】、【应用介绍(选填)】并上传应用Logo后，点击【创建应用】 1.3 获取企业ID 点击【我...

一、为了避免告警轰炸，将同类型的告警规则定位一组，比如将所有硬件相关的都归类到hardware，包括负载、cpu使用率、内存使用率、硬盘等。 当此类告警被触发，在一个“group_wait”时间范围内，...

一、自定义中间件监控 1.1 创建mysql监听用户并授权，注意服务ip不要填错 1.2 启动容器 1.2 启动监控容器 创建配置文件 启动容器并挂载配置 验证容器 1.2 可能遇到的问题 执行下面命令启动容器 ...