排序
Ollama 私有化部署实战：云主机、模型运行与 OpenWebUI
一、先准备云主机 1.1 AutoDL AutoDL 官网： `https://autodl.com/home` 它的优势通常是便宜、按量付费、适合做实验，但因为是容器化虚拟机，性能体验可能略差一些。 1.2 阿里云 / 腾讯云 GPU ...
10个月前
如何获取并制作大模型微调数据集
一、从 Hugging Face 获取公共数据集 地址： `https://huggingface.co/datasets` 1.1 安装命令行工具 默认前提是机器已经装好 Python 和 pip。 1.2 获取 Token 注册、登录并验证邮箱后，可以在...
10个月前
开源大模型私有化部署思路与阿里云 PAI 快速部署
- 一、开源模型一般去哪里找 * Hugging Face：`https://huggingface.co/models` * 魔塔社区：`https://modelscope.cn/models` 一、部署前先把思路定下来 1.1 先确定目标模型 例如以 `QWQ-32B` ...
9个月前
大模型微调超参数详解：从 Model Size 到 Temperature
一、超参数到底是什么 超参数（Hyperparameters）是在训练开始前就要设定好的参数，用来控制训练过程，而不是训练中自动学到的权重。 一个很直观的比喻是：超参数就像做菜前先决定盐、胡椒、火...
10个月前
用 DistillKit 做大模型蒸馏：Qwen3-8B 到 Qwen3-0.6B
一、DistillKit 是什么 DistillKit 是 Arcee.AI 开源的大模型蒸馏工具包，目标是让研究和工程团队更容易实践多种蒸馏方法。 它支持的主要方向包括： * 基于 logits 的蒸馏； * 基于隐藏状态的蒸...
9个月前
常见主流开源大模型盘点
一、先看主流开源大模型全景 | 大模型 | 代表模型 | 公司 | 特点 | | ------------ | ------------- | ---------------- | ------------------------------------------------------------ | | ...
10个月前
腾讯云 HAI 体验：从创建实例到 OpenWebUI 测试
一、先创建 HAI 实例 地址： `https://cloud.tencent.com/product/hai` 1.1 进入 HAI 控制台 打开官网后，点击“立即使用”。 1.2 新建算力实例 进入： `算力管理 -> 新建` 1.3 填写实例参数...
9个月前
大模型量化入门：GPTQ、AWQ 和 Qwen3-1.7B 实操
一、为什么量化很重要 量化的本质是把模型从更高精度的数据格式压缩到更低精度，例如： * FP16 -> INT8 * FP16 -> INT4 这样做带来的主要收益有： * 模型体积更小； * 显存占用更低； * ...
10个月前Kubernetes驱动的GPU与大模型管理
一、为什么使用k8s管理GPU与大模型 我们可以从下面六个角度进行分析为什么使用k8s管理GPU与大模型： * 资源调度与优化 * 多租户隔离与资源分配 * 简化部署与管理 * 弹性伸缩和负载均衡 * 高可用...
11个月前
大模型微调怎么选：技术选型与 SFT、DPO、PPO、RLHF
- 一、技术选型时先看什么 - 1.1 按任务复杂度选 * 高复杂度任务： * 例如多轮对话、复杂推理、长文本生成。 * 更适合全参数微调或指令微调。 * 低复杂度任务： * 例如简单分类、关键词提取。 *...
10个月前