排序
vLLM 私有化部署实战：模型下载、服务启动与接口测试
一、先准备云主机 示例里使用的是 AutoDL。 官网： `https://www.autodl.com/` 二、安装 vLLM 参考文档： `https://docs.vllm.ai/en/latest/getting_started/installation/gpu.html` 如果系统里...
7个月前
Unsloth 微调 Qwen3-4B 实战：训练、推理与 vLLM 部署
一、先配置训练器 示例里使用的是 `SFTTrainer`： - 二、几个关键超参数怎么理解 * `gradient_accumulation_steps`： * 用梯度累积模拟更大的 batch。 * `warmup_steps`： * 训练初期逐步升高学...
7个月前
Unsloth 微调 Qwen3-4B 实战：环境、模型加载与 LoRA 配置
- 一、先看硬件和软件要求 - 1.1 硬件要求 * GPU：至少 10GB 显存，例如 T4、V100 或更高。 * 内存：至少 16G。 * 存储：建议 50G 以上。 - 1.2 软件环境 * Linux（推荐 Ubuntu） * Python 3.8 ...
7个月前