工程实践共56篇
排序
vLLM 集群模式部署：Ray、多机多卡与远程访问-AI运维探索者

vLLM 集群模式部署：Ray、多机多卡与远程访问

一、先准备机器 示例建议： * 优先使用阿里云。 * GPU 选 A10 或更高等级。 * 不建议选 T4，这类卡在大模型集群场景下通常偏弱。 二、部署前准备 2.1 安装驱动和 CUDA 所有机器都要完成这一步。...
大模型工程
头像8个月前
06113
Go 结构体实战：定义、方法、接收者与嵌套-AI运维探索者

Go 结构体实战：定义、方法、接收者与嵌套

一、前言 本文主要以下几方面介绍Go语言中的结构体: * 初识结构体 * 结构体初体验 * 结构体操作和比较 * 结构体自定义方法 * 结构体方法接收者类型 * 结构体嵌套 二、初识结构体 2.1 基本含义 G...
Go
头像3年前
05812
大模型与Ollama初体验-AI运维探索者

大模型与Ollama初体验

一、Ollama介绍与特性 1.1 什么是Ollama Ollama是一个轻量级、易于使用的大模型管理和部署工具,主要用于简化大模型的运行和交互。并且为开发者和用户提供了快速加载、管理和调用多种主流大模型...
大模型工程
头像8个月前
05710
大模型微调入门：为什么需要微调与常见技术路线-AI运维探索者

大模型微调入门：为什么需要微调与常见技术路线

一、为什么需要微调 微调的核心价值，通常体现在下面几个方面： * 解决预训练模型“通用但不够专”的问题。 * 处理目标场景与预训练数据之间的数据分布差异。 * 在有限计算资源下，用更高效的方...
大模型工程
头像8个月前
05710
Go 函数进阶：具名返回值、不定参数与递归实践-AI运维探索者

Go 函数进阶：具名返回值、不定参数与递归实践

一、前言 主要以下几方面介绍Go语言中的函数: * 函数初体验 * 具名返回值 * 接收任意长度参数 * 递归函数 二、函数初体验 2.1 什么是函数 函数是一段封装了特定功能的代码块，它可以接收输入（...
Go
头像3年前
0565
讯飞星辰零代码微调 Qwen3-4B 实战-AI运维探索者

讯飞星辰零代码微调 Qwen3-4B 实战

一、先做微调前测试 目标模型：`Qwen3-4B` 模型集市地址： `https://training.xfyun.cn/modelSquare` 进入后选择 `Qwen3-4B`，点击“体验”。 可以先准备几条测试问题，例如： * “阿铭linux是...
大模型工程
头像7个月前
0565
Go 数据结构与数据处理：数组、切片、Map、字符串和指针-AI运维探索者

Go 数据结构与数据处理：数组、切片、Map、字符串和指针

一、Go数据结构-数组基本使用 1.1 什么是数组 在 Go 语言中，数组（Array）是一种用于存储一组相同类型元素的数据结构。数组的长度是固定的，一旦定义后，其大小不能改变。数组在 Go 中是值类型...
Go
头像3年前
0568
常见开源大模型微调工具盘点：PEFT、LLaMA-Factory、Unsloth、XTuner-AI运维探索者

常见开源大模型微调工具盘点：PEFT、LLaMA-Factory、Unsloth、XTuner

一、Hugging Face Transformers 与 PEFT Transformers 是 Hugging Face 的核心开源库，覆盖 NLP、视觉、音频等多种任务，同时把模型加载、Tokenizer、Pipeline 等常见能力做了模块化封装。 PEFT...
大模型工程
头像7个月前
05611
Unsloth 微调 Qwen3-4B 实战：环境、模型加载与 LoRA 配置-AI运维探索者

Unsloth 微调 Qwen3-4B 实战：环境、模型加载与 LoRA 配置

- 一、先看硬件和软件要求 - 1.1 硬件要求 * GPU：至少 10GB 显存，例如 T4、V100 或更高。 * 内存：至少 16G。 * 存储：建议 50G 以上。 - 1.2 软件环境 * Linux（推荐 Ubuntu） * Python 3.8 ...
大模型工程
头像8个月前
05614
用 EvalScope 压测 Qwen3-8B：从环境准备到指标解读-AI运维探索者

用 EvalScope 压测 Qwen3-8B：从环境准备到指标解读

一、压测对象 这份实战使用的是硅基流动提供的免费 `Qwen3-8B` 服务。 模型入口示意： 获取 API Key 的流程同样在平台控制台中完成。 公开文档里只建议写成： * `SILICONFLOW_API_KEY=` 二、准...
大模型工程
头像7个月前
0558
123…6