排序
大模型微调入门:为什么需要微调与常见技术路线
一、为什么需要微调 微调的核心价值,通常体现在下面几个方面: * 解决预训练模型“通用但不够专”的问题。 * 处理目标场景与预训练数据之间的数据分布差异。 * 在有限计算资源下,用更高效的方...
vLLM 集群模式部署:Ray、多机多卡与远程访问
一、先准备机器 示例建议: * 优先使用阿里云。 * GPU 选 A10 或更高等级。 * 不建议选 T4,这类卡在大模型集群场景下通常偏弱。 二、部署前准备 2.1 安装驱动和 CUDA 所有机器都要完成这一步。...
Go 数据结构与数据处理:数组、切片、Map、字符串和指针
一、Go数据结构-数组基本使用 1.1 什么是数组 在 Go 语言中,数组(Array)是一种用于存储一组相同类型元素的数据结构。数组的长度是固定的,一旦定义后,其大小不能改变。数组在 Go 中是值类型...
Unsloth 微调 Qwen3-4B 实战:环境、模型加载与 LoRA 配置
- 一、先看硬件和软件要求 - 1.1 硬件要求 * GPU:至少 10GB 显存,例如 T4、V100 或更高。 * 内存:至少 16G。 * 存储:建议 50G 以上。 - 1.2 软件环境 * Linux(推荐 Ubuntu) * Python 3.8 ...
大模型与Ollama初体验
一、Ollama介绍与特性 1.1 什么是Ollama Ollama是一个轻量级、易于使用的大模型管理和部署工具,主要用于简化大模型的运行和交互。并且为开发者和用户提供了快速加载、管理和调用多种主流大模型...
Go 结构体实战:定义、方法、接收者与嵌套
一、前言 本文主要以下几方面介绍Go语言中的结构体: * 初识结构体 * 结构体初体验 * 结构体操作和比较 * 结构体自定义方法 * 结构体方法接收者类型 * 结构体嵌套 二、初识结构体 2.1 基本含义 G...
Go 错误处理实战:error、panic、defer 与 recover
一、前言 本文主要以下几方面介绍Go语言中错误处理Error: * 为什么需要异常处理 * 不同开发语言错误处理方式 * Error初体验 * 自定义Error * 异常终止收尾处理defer * 异常捕获recover 二、为什...
Gin 脚手架项目实战:JWT、日志封装与认证中间件
一、什么是脚手架? 脚手架是项目开发的基础框架,脚手架包含了基本了项目结构、依赖管理、构建工具、测试框架等基本功能和配置,脚手架可以使开发者能够非常迅速的展开工作,避免重复造轮了,可以大...
Go 函数进阶:具名返回值、不定参数与递归实践
一、前言 主要以下几方面介绍Go语言中的函数: * 函数初体验 * 具名返回值 * 接收任意长度参数 * 递归函数 二、函数初体验 2.1 什么是函数 函数是一段封装了特定功能的代码块,它可以接收输入(...
大模型运维监控入门:命令行工具、Prometheus 与 Grafana
一、先用命令行工具做最小监控 1.1 NVIDIA GPU:`nvidia-smi` 这是最基础也最常用的 NVIDIA GPU 监控工具,前提是已经安装好显卡驱动。 常见用法: 它最适合做: * 快速排查显存占用; * 看当前...











