工程实践共56篇
大模型微调怎么选:技术选型与 SFT、DPO、PPO、RLHF-AI运维探索者

大模型微调怎么选:技术选型与 SFT、DPO、PPO、RLHF

- 一、技术选型时先看什么 - 1.1 按任务复杂度选 * 高复杂度任务: * 例如多轮对话、复杂推理、长文本生成。 * 更适合全参数微调或指令微调。 * 低复杂度任务: * 例如简单分类、关键词提取。 *...
头像8个月前
03112
用 EvalScope 压测 Qwen3-8B:从环境准备到指标解读-AI运维探索者

用 EvalScope 压测 Qwen3-8B:从环境准备到指标解读

一、压测对象 这份实战使用的是硅基流动提供的免费 `Qwen3-8B` 服务。 模型入口示意: 获取 API Key 的流程同样在平台控制台中完成。 公开文档里只建议写成: * `SILICONFLOW_API_KEY=` 二、准...
头像7个月前
0558
GPU 监控进阶:Prometheus 接入 dcgm-exporter 与显卡大盘-AI运维探索者

GPU 监控进阶:Prometheus 接入 dcgm-exporter 与显卡大盘

一、为什么还需要 `dcgm-exporter` `node_exporter` 能看到系统级指标,但看不到足够细的 GPU 运行细节。而大模型推理和训练最关心的常常是: * GPU 利用率; * 显存占用; * 温度和功耗; * 显...
头像9个月前
0368
Go 函数进阶:具名返回值、不定参数与递归实践-AI运维探索者

Go 函数进阶:具名返回值、不定参数与递归实践

一、前言 主要以下几方面介绍Go语言中的函数: * 函数初体验 * 具名返回值 * 接收任意长度参数 * 递归函数 二、函数初体验 2.1 什么是函数 函数是一段封装了特定功能的代码块,它可以接收输入(...
头像3年前
0565
Unsloth 微调 Qwen3-4B 实战:训练、推理与 vLLM 部署-AI运维探索者

Unsloth 微调 Qwen3-4B 实战:训练、推理与 vLLM 部署

一、先配置训练器 示例里使用的是 `SFTTrainer`: - 二、几个关键超参数怎么理解 * `gradient_accumulation_steps`: * 用梯度累积模拟更大的 batch。 * `warmup_steps`: * 训练初期逐步升高学...
头像8个月前
0297
大模型行业选型建议:金融、医疗、制造与教育-AI运维探索者

大模型行业选型建议:金融、医疗、制造与教育

一、金融行业 | 细分领域 | 核心要求 | 推荐模型 | 关键能力 | | ---------- | ------------------------ | --------------- | ------------------------------ | | 投研、分析 | 招股书解析、...
头像8个月前
04911
大模型微调数据集入门:常见分类与数据格式-AI运维探索者

大模型微调数据集入门:常见分类与数据格式

一、什么是大模型微调数据集 简单说,微调数据集就是一批专门为某个目标准备的数据,用来让一个已经很强的通用模型,进一步学会特定任务、特定风格或特定领域知识。 二、常见数据集分类 2.1 指...
头像8个月前
0436
腾讯云 HAI 体验:从创建实例到 OpenWebUI 测试-AI运维探索者

腾讯云 HAI 体验:从创建实例到 OpenWebUI 测试

一、先创建 HAI 实例 地址: `https://cloud.tencent.com/product/hai` 1.1 进入 HAI 控制台 打开官网后,点击“立即使用”。 1.2 新建算力实例 进入: `算力管理 -> 新建` 1.3 填写实例参数...
头像7个月前
03713
Kubernetes GPU资源调度落地-AI运维探索者

Kubernetes GPU资源调度落地

一、K8s集群部署 1.1 Runtime安装 1、卸载已经安装的 docker 2、配置源 3、安装 Containerd 4、配置 Containerd 的内核 5、创建 Containerd 的配置文件 6、启动Containerd 1.2 Kubernetes 部署 ...
头像9个月前
0325
Go 包管理实战:Go Mod、自定义包与常用第三方包-AI运维探索者

Go 包管理实战:Go Mod、自定义包与常用第三方包

一、前言 本文主要以下几方面介绍Go语言中包管理: * 什么是包 * 为什么要使用包 * 内置包和第三方包 * 如何使用包 * 如何管理包 * 如何自定义包 * 常用的包 二、什么是包 Go语言的包(package)是...
头像3年前
0467