Qwen3共6篇
排序
LLaMA-Factory 微调 Qwen3-4B 实战：启动训练、测试与导出-AI运维探索者

LLaMA-Factory 微调 Qwen3-4B 实战：启动训练、测试与导出

一、启动 WebUI 在开始训练前，先把前面的测试命令结束掉，然后启动 WebUI： 浏览器访问： `http://ip:7860` 如果使用的是 AutoDL，仍然需要做自定义服务映射。 需要注意的是：WebUI 版本更适合...
大模型工程
头像7个月前
02514
LLaMA-Factory 微调 Qwen3-4B 实战：环境准备与数据配置-AI运维探索者

LLaMA-Factory 微调 Qwen3-4B 实战：环境准备与数据配置

一、先明确整体思路 这套流程的目标是：在 AutoDL 云服务器上安装 `LLaMA-Factory`，然后对 `Qwen3-4B` 做微调。 二、环境准备 2.1 购买云主机 笔记里建议使用 AutoDL，选择 3090 显卡即可。如...
大模型工程
头像7个月前
04012
大模型量化入门：GPTQ、AWQ 和 Qwen3-1.7B 实操-AI运维探索者

大模型量化入门：GPTQ、AWQ 和 Qwen3-1.7B 实操

一、为什么量化很重要 量化的本质是把模型从更高精度的数据格式压缩到更低精度，例如： * FP16 -> INT8 * FP16 -> INT4 这样做带来的主要收益有： * 模型体积更小； * 显存占用更低； * ...
大模型工程
头像7个月前
0319
常见开源大模型微调工具盘点：PEFT、LLaMA-Factory、Unsloth、XTuner-AI运维探索者

常见开源大模型微调工具盘点：PEFT、LLaMA-Factory、Unsloth、XTuner

一、Hugging Face Transformers 与 PEFT Transformers 是 Hugging Face 的核心开源库，覆盖 NLP、视觉、音频等多种任务，同时把模型加载、Tokenizer、Pipeline 等常见能力做了模块化封装。 PEFT...
大模型工程
头像6个月前
04811
用 DistillKit 做大模型蒸馏：Qwen3-8B 到 Qwen3-0.6B-AI运维探索者

用 DistillKit 做大模型蒸馏：Qwen3-8B 到 Qwen3-0.6B

一、DistillKit 是什么 DistillKit 是 Arcee.AI 开源的大模型蒸馏工具包，目标是让研究和工程团队更容易实践多种蒸馏方法。 它支持的主要方向包括： * 基于 logits 的蒸馏； * 基于隐藏状态的蒸...
大模型工程
头像6个月前
0245
用 EvalScope 压测 Qwen3-8B：从环境准备到指标解读-AI运维探索者

用 EvalScope 压测 Qwen3-8B：从环境准备到指标解读

一、压测对象 这份实战使用的是硅基流动提供的免费 `Qwen3-8B` 服务。 模型入口示意： 获取 API Key 的流程同样在平台控制台中完成。 公开文档里只建议写成： * `SILICONFLOW_API_KEY=` 二、准...
大模型工程
头像6个月前
0428