大模型工程 第3页
排序
Unsloth 微调 Qwen3-4B 实战：环境、模型加载与 LoRA 配置-AI运维探索者

Unsloth 微调 Qwen3-4B 实战：环境、模型加载与 LoRA 配置

- 一、先看硬件和软件要求 - 1.1 硬件要求 * GPU：至少 10GB 显存，例如 T4、V100 或更高。 * 内存：至少 16G。 * 存储：建议 50G 以上。 - 1.2 软件环境 * Linux（推荐 Ubuntu） * Python 3.8 ...
讯飞星辰零代码微调 Qwen3-4B 实战-AI运维探索者

讯飞星辰零代码微调 Qwen3-4B 实战

一、先做微调前测试 目标模型：`Qwen3-4B` 模型集市地址： `https://training.xfyun.cn/modelSquare` 进入后选择 `Qwen3-4B`，点击“体验”。 可以先准备几条测试问题，例如： * “阿铭linux是...
大模型微调怎么选：技术选型与 SFT、DPO、PPO、RLHF-AI运维探索者

大模型微调怎么选：技术选型与 SFT、DPO、PPO、RLHF

- 一、技术选型时先看什么 - 1.1 按任务复杂度选 * 高复杂度任务： * 例如多轮对话、复杂推理、长文本生成。 * 更适合全参数微调或指令微调。 * 低复杂度任务： * 例如简单分类、关键词提取。 *...
GPU 监控进阶：Prometheus 接入 dcgm-exporter 与显卡大盘-AI运维探索者

GPU 监控进阶：Prometheus 接入 dcgm-exporter 与显卡大盘

一、为什么还需要 `dcgm-exporter` `node_exporter` 能看到系统级指标，但看不到足够细的 GPU 运行细节。而大模型推理和训练最关心的常常是： * GPU 利用率； * 显存占用； * 温度和功耗； * 显...
大模型选型指南：性能、参数与安全性-AI运维探索者

大模型选型指南：性能、参数与安全性

一、性能与场景适配度 1.1 通用能力 评估模型在数学推理、代码生成、多语言支持等通用任务上的表现。例如，通义千问在多项评测中表现突出，DeepSeek-R1 在复杂推理任务中也有明显优势。 1.2 行...
Unsloth 微调 Qwen3-4B 实战：训练、推理与 vLLM 部署-AI运维探索者

Unsloth 微调 Qwen3-4B 实战：训练、推理与 vLLM 部署

一、先配置训练器 示例里使用的是 `SFTTrainer`： - 二、几个关键超参数怎么理解 * `gradient_accumulation_steps`： * 用梯度累积模拟更大的 batch。 * `warmup_steps`： * 训练初期逐步升高学...
大模型微调数据集入门：常见分类与数据格式-AI运维探索者

大模型微调数据集入门：常见分类与数据格式

一、什么是大模型微调数据集 简单说，微调数据集就是一批专门为某个目标准备的数据，用来让一个已经很强的通用模型，进一步学会特定任务、特定风格或特定领域知识。 二、常见数据集分类 2.1 指...
Kubernetes GPU资源调度落地-AI运维探索者

Kubernetes GPU资源调度落地

一、K8s集群部署 1.1 Runtime安装 1、卸载已经安装的 docker 2、配置源 3、安装 Containerd 4、配置 Containerd 的内核 5、创建 Containerd 的配置文件 6、启动Containerd 1.2 Kubernetes 部署 ...
大模型量化入门：GPTQ、AWQ 和 Qwen3-1.7B 实操-AI运维探索者

大模型量化入门：GPTQ、AWQ 和 Qwen3-1.7B 实操

一、为什么量化很重要 量化的本质是把模型从更高精度的数据格式压缩到更低精度，例如： * FP16 -> INT8 * FP16 -> INT4 这样做带来的主要收益有： * 模型体积更小； * 显存占用更低； * ...
vLLM 私有化部署实战：模型下载、服务启动与接口测试-AI运维探索者

vLLM 私有化部署实战：模型下载、服务启动与接口测试

一、先准备云主机 示例里使用的是 AutoDL。 官网： `https://www.autodl.com/` 二、安装 vLLM 参考文档： `https://docs.vllm.ai/en/latest/getting_started/installation/gpu.html` 如果系统里...
12345