模型部署 第5页
大模型微调怎么选:技术选型与 SFT、DPO、PPO、RLHF-AI运维探索者

大模型微调怎么选:技术选型与 SFT、DPO、PPO、RLHF

- 一、技术选型时先看什么 - 1.1 按任务复杂度选 * 高复杂度任务: * 例如多轮对话、复杂推理、长文本生成。 * 更适合全参数微调或指令微调。 * 低复杂度任务: * 例如简单分类、关键词提取。 *...
头像8个月前
03112
GPU 监控进阶:Prometheus 接入 dcgm-exporter 与显卡大盘-AI运维探索者

GPU 监控进阶:Prometheus 接入 dcgm-exporter 与显卡大盘

一、为什么还需要 `dcgm-exporter` `node_exporter` 能看到系统级指标,但看不到足够细的 GPU 运行细节。而大模型推理和训练最关心的常常是: * GPU 利用率; * 显存占用; * 温度和功耗; * 显...
头像9个月前
0368
大模型选型指南:性能、参数与安全性-AI运维探索者

大模型选型指南:性能、参数与安全性

一、性能与场景适配度 1.1 通用能力 评估模型在数学推理、代码生成、多语言支持等通用任务上的表现。例如,通义千问在多项评测中表现突出,DeepSeek-R1 在复杂推理任务中也有明显优势。 1.2 行...
头像8个月前
0275