模型部署 第3页
大模型行业选型建议:金融、医疗、制造与教育-AI运维探索者

大模型行业选型建议:金融、医疗、制造与教育

一、金融行业 | 细分领域 | 核心要求 | 推荐模型 | 关键能力 | | ---------- | ------------------------ | --------------- | ------------------------------ | | 投研、分析 | 招股书解析、...
头像7个月前
04611
Transformer 编码器与解码器:一篇看懂核心结构-AI运维探索者

Transformer 编码器与解码器:一篇看懂核心结构

一、先看 Transformer 的整体结构 架构图: 示例:输入:'The cat sat on the mat'--->输出:'猫坐在垫子上' **输入阶段:** * 1)词嵌入(Word Embedding) * 将每个单词转换为512维向量,例如: *...
头像7个月前
02715
腾讯云 HAI 体验:从创建实例到 OpenWebUI 测试-AI运维探索者

腾讯云 HAI 体验:从创建实例到 OpenWebUI 测试

一、先创建 HAI 实例 地址: `https://cloud.tencent.com/product/hai` 1.1 进入 HAI 控制台 打开官网后,点击“立即使用”。 1.2 新建算力实例 进入: `算力管理 -> 新建` 1.3 填写实例参数...
头像6个月前
03113
大模型微调入门:为什么需要微调与常见技术路线-AI运维探索者

大模型微调入门:为什么需要微调与常见技术路线

一、为什么需要微调 微调的核心价值,通常体现在下面几个方面: * 解决预训练模型“通用但不够专”的问题。 * 处理目标场景与预训练数据之间的数据分布差异。 * 在有限计算资源下,用更高效的方...
头像7个月前
05310
大模型运维监控入门:命令行工具、Prometheus 与 Grafana-AI运维探索者

大模型运维监控入门:命令行工具、Prometheus 与 Grafana

一、先用命令行工具做最小监控 1.1 NVIDIA GPU:`nvidia-smi` 这是最基础也最常用的 NVIDIA GPU 监控工具,前提是已经安装好显卡驱动。 常见用法: 它最适合做: * 快速排查显存占用; * 看当前...
头像7个月前
0488
Unsloth 微调 Qwen3-4B 实战:环境、模型加载与 LoRA 配置-AI运维探索者

Unsloth 微调 Qwen3-4B 实战:环境、模型加载与 LoRA 配置

- 一、先看硬件和软件要求 - 1.1 硬件要求 * GPU:至少 10GB 显存,例如 T4、V100 或更高。 * 内存:至少 16G。 * 存储:建议 50G 以上。 - 1.2 软件环境 * Linux(推荐 Ubuntu) * Python 3.8 ...
头像7个月前
04914
讯飞星辰零代码微调 Qwen3-4B 实战-AI运维探索者

讯飞星辰零代码微调 Qwen3-4B 实战

一、先做微调前测试 目标模型:`Qwen3-4B` 模型集市地址: `https://training.xfyun.cn/modelSquare` 进入后选择 `Qwen3-4B`,点击“体验”。 可以先准备几条测试问题,例如: * “阿铭linux是...
头像6个月前
0485
大模型微调怎么选:技术选型与 SFT、DPO、PPO、RLHF-AI运维探索者

大模型微调怎么选:技术选型与 SFT、DPO、PPO、RLHF

- 一、技术选型时先看什么 - 1.1 按任务复杂度选 * 高复杂度任务: * 例如多轮对话、复杂推理、长文本生成。 * 更适合全参数微调或指令微调。 * 低复杂度任务: * 例如简单分类、关键词提取。 *...
头像7个月前
02912
GPU 监控进阶:Prometheus 接入 dcgm-exporter 与显卡大盘-AI运维探索者

GPU 监控进阶:Prometheus 接入 dcgm-exporter 与显卡大盘

一、为什么还需要 `dcgm-exporter` `node_exporter` 能看到系统级指标,但看不到足够细的 GPU 运行细节。而大模型推理和训练最关心的常常是: * GPU 利用率; * 显存占用; * 温度和功耗; * 显...
头像8个月前
0258
大模型选型指南:性能、参数与安全性-AI运维探索者

大模型选型指南:性能、参数与安全性

一、性能与场景适配度 1.1 通用能力 评估模型在数学推理、代码生成、多语言支持等通用任务上的表现。例如,通义千问在多项评测中表现突出,DeepSeek-R1 在复杂推理任务中也有明显优势。 1.2 行...
头像7个月前
0235