排序
Unsloth 微调 Qwen3-4B 实战：环境、模型加载与 LoRA 配置
- 一、先看硬件和软件要求 - 1.1 硬件要求 * GPU：至少 10GB 显存，例如 T4、V100 或更高。 * 内存：至少 16G。 * 存储：建议 50G 以上。 - 1.2 软件环境 * Linux（推荐 Ubuntu） * Python 3.8 ...
8个月前
FastGPT 快速上手：配置模型、创建应用、工作流与知识库
一、先配置大模型 1.1 配置 DeepSeek 进入： `模型提供商 -> 模型配置` 搜索 `deepseek`，启用 `deepseek-chat`。 模型参数一般先保持默认即可： 然后到： `模型提供商 -> 模型渠道 ->...
10个月前
大模型知识蒸馏入门：原理、方法与百度千帆实战
一、什么是知识蒸馏 知识蒸馏（Knowledge Distillation）是一种模型压缩技术，核心思想是： * 用一个更大的教师模型指导一个更小的学生模型； * 让学生模型在更低资源占用下，尽量接近教师模型...
8个月前
Coze 进阶实战：对话流、知识库与数据库怎么用
一、什么是对话流 对话流本质上是一种专门面向对话场景的工作流，更适合： * 智能客服； * 个人助手； * 虚拟角色； * 需要多轮上下文的对话应用。 1.1 对话流和工作流的区别 最关键的差异在于...
10个月前
腾讯云 HAI 体验：从创建实例到 OpenWebUI 测试
一、先创建 HAI 实例 地址： `https://cloud.tencent.com/product/hai` 1.1 进入 HAI 控制台 打开官网后，点击“立即使用”。 1.2 新建算力实例 进入： `算力管理 -> 新建` 1.3 填写实例参数...
7个月前
大模型微调超参数详解：从 Model Size 到 Temperature
一、超参数到底是什么 超参数（Hyperparameters）是在训练开始前就要设定好的参数，用来控制训练过程，而不是训练中自动学到的权重。 一个很直观的比喻是：超参数就像做菜前先决定盐、胡椒、火...
8个月前
如何获取并制作大模型微调数据集
一、从 Hugging Face 获取公共数据集 地址： `https://huggingface.co/datasets` 1.1 安装命令行工具 默认前提是机器已经装好 Python 和 pip。 1.2 获取 Token 注册、登录并验证邮箱后，可以在...
8个月前
vLLM 集群模式部署：Ray、多机多卡与远程访问
一、先准备机器 示例建议： * 优先使用阿里云。 * GPU 选 A10 或更高等级。 * 不建议选 T4，这类卡在大模型集群场景下通常偏弱。 二、部署前准备 2.1 安装驱动和 CUDA 所有机器都要完成这一步。...
8个月前
商业大模型微调平台盘点：阿里云 PAI、硅基流动与讯飞星辰
一、阿里云 PAI 地址： `https://pai.console.aliyun.com/` 阿里云 PAI 提供了一站式的大模型训练与部署能力，比较适合已经在云上做 AI 研发，或者希望快速接入微调工作流的团队。 1.1 典型入口...
8个月前
Milvus 快速入门：Linux 单机部署、Docker 安装与 WebUI
一、Milvus 是什么 Milvus 是一个面向 AI 时代海量向量数据的高性能、可扩展、云原生开源向量数据库。 它的核心价值是： * 专为向量检索设计； * 支持大规模向量存储和相似搜索； * 适合推荐系...
10个月前